31weeks

4.1 LoRA 이론 및 실습 4.1.1 LoRA 개념사전 학습된 대규모 모델(Pre-Trained Model)은 이미 방대한 데이터로 학습됐지만, 새로운 데이터를 처리하거나 특정 작업에 맞추려면 추가적인 파인 튜닝이 필요함새로운 데이터를 반영하려고 전체 모델을 수정하는 것은 비효율적LoRA는 사전 학습된 모델의 구조를 그대로 유지하면서 필요한 만큼만 파라미터를 효율적으로 수정하는 방법  4.1.2 런팟 환경 설정H100PCIe x1Pytorch 2.1Container Disk 200GBVolume Disk 200GB  4.1.3 Gemma-2-9B-it 모델 준비https://huggingface.co/google/gemma-2-9b-it google/gemma-2-9b-it · Hugging Face..

3.4.8 학습 파라미터 설정output_dir : 학습 중 만들어지는 체크포인트 저장 폴더 지정max_steps : 모델이 학습하는 총 스텝 수per_device_train_batch_size : 학습할 때 각 GPU나 CPU에서 한번에 처리할 데이터 샘플의 수per_device_eval_batch_size : 평가할 때 각 GPU나 CPU에서 한번에 처리할 데이터 샘플의 수weight_decay : 과적합을 막기 위해 모델 가중치를 조절하는 강도logging_dir : 로깅 도구가 사용할, 학습 중 발생하는 로그 정보를 저장하는 위치 지정logging_steps : 학습 상태, 손실값 등을 기록하는 주기 → 학습 과정 추적할 수 있음report_to : 학습 현황 관찰할 도구 (ex. wandb.ai..