31weeks

4.2.6 파라미터 설정'3.5.2 Llama 3.1 학습 파라미터 설정' 참고https://31weeks.tistory.com/483 [Day10] 한 권으로 LLM 온라인 스터디 1기 - 다중 GPU Llama3 파인튜닝3.5 다중 GPU를 활용한 Llama3.1-8B-instruct 파인 튜닝 3.5.1 런팟 환경 설정H100XM x 41Pytorch 2.2.0Container Disk 400GBVolume Disk 400GBgit clone https://github.com/wikibook/llm-finetuningcd llm-finetuning/chapter3/3.5pip install -r requirem31weeks.com   4.2.7 모델 학습model : Ko-Llama3 모델 지정ar..

3.5 다중 GPU를 활용한 Llama3.1-8B-instruct 파인 튜닝 3.5.1 런팟 환경 설정H100XM x 41Pytorch 2.2.0Container Disk 400GBVolume Disk 400GBgit clone https://github.com/wikibook/llm-finetuningcd llm-finetuning/chapter3/3.5pip install -r requirements.txt  3.5.2 Llama 3.1 학습 파라미터 설정model_name : 사용할 모델 ID, 허깅페이스에 등록된 모델 이름dataset_path : 학습에 사용할 데이터셋이 위치한 경로max_seq_length : 모델이 처리할 수 있는 최대 시퀀스 길이 설정output_dir : 학습과정에서 생성..

3.4.8 학습 파라미터 설정output_dir : 학습 중 만들어지는 체크포인트 저장 폴더 지정max_steps : 모델이 학습하는 총 스텝 수per_device_train_batch_size : 학습할 때 각 GPU나 CPU에서 한번에 처리할 데이터 샘플의 수per_device_eval_batch_size : 평가할 때 각 GPU나 CPU에서 한번에 처리할 데이터 샘플의 수weight_decay : 과적합을 막기 위해 모델 가중치를 조절하는 강도logging_dir : 로깅 도구가 사용할, 학습 중 발생하는 로그 정보를 저장하는 위치 지정logging_steps : 학습 상태, 손실값 등을 기록하는 주기 → 학습 과정 추적할 수 있음report_to : 학습 현황 관찰할 도구 (ex. wandb.ai..