728x90
반응형
3.4.8 학습 파라미터 설정
- output_dir : 학습 중 만들어지는 체크포인트 저장 폴더 지정
- max_steps : 모델이 학습하는 총 스텝 수
- per_device_train_batch_size : 학습할 때 각 GPU나 CPU에서 한번에 처리할 데이터 샘플의 수
- per_device_eval_batch_size : 평가할 때 각 GPU나 CPU에서 한번에 처리할 데이터 샘플의 수
- weight_decay : 과적합을 막기 위해 모델 가중치를 조절하는 강도
- logging_dir : 로깅 도구가 사용할, 학습 중 발생하는 로그 정보를 저장하는 위치 지정
- logging_steps : 학습 상태, 손실값 등을 기록하는 주기 → 학습 과정 추적할 수 있음
- report_to : 학습 현황 관찰할 도구 (ex. wandb.ai 등)
Weights & Biases: The AI Developer Platform
Weights & Biases is the leading AI developer platform to train and fine-tune models, manage models from experimentation to production, and track and evaluate GenAI applications powered by LLMs.
wandb.ai
3.4.9 평가 메트릭 정의
- 모델이 얼마나 잘 학습됐는지 측정하기 위한 지표
- BLEU : 주로 기계 번역의 품질을 측정
- 정확도(ACC) : 모델의 예측 결과가 실제 정답과 얼마나 정확하게 일치하는지 측정
3.4.10 모델 학습 및 평가
- 모델, 토크나이저, 콜레이터, 데이터셋, 평가 지표르 모두 모아 학습을 도와주는 Trainer 클래스를 설정해서 학습 진행
- 실행결과
- eval_loss : 낮을수록 좋음
- eval_bleu : 모델이 만든 텍스트의 질, 1에 가까울수록 좋음
- eval_accuracy : 모델의 정확도 1에 가까울수록 좋음
3.4.11 파인튜닝한 모델 테스트
- 실제 파인튜닝한 모델을 사용하여 텍스트를 생성하고, 어떤 결과물을 만들어내는지 직접 확인
728x90
반응형
'프로그래밍 > LLM' 카테고리의 다른 글
| [Day11] 한 권으로 LLM 온라인 스터디 1기 - 효율적인 파라미터 튜닝 (LoRA 1) (0) | 2025.01.26 |
|---|---|
| [Day10] 한 권으로 LLM 온라인 스터디 1기 - 다중 GPU Llama3 파인튜닝 (0) | 2025.01.26 |
| [Day8] 한 권으로 LLM 온라인 스터디 1기 - 단일 GPU Gemma 파인튜닝 2 (0) | 2025.01.25 |
| [Day7] 한 권으로 LLM 온라인 스터디 1기 - 단일 GPU Gemma 파인튜닝 1 (0) | 2025.01.25 |
| [Day6] 한 권으로 LLM 온라인 스터디 1기 - GPU 병렬화 기법 (0) | 2025.01.25 |