[Day8] 한 권으로 LLM 온라인 스터디 1기 - 단일 GPU Gemma 파인튜닝 2

3.4.5 키워드 데이터 생성

• jaehy12/new3 데이터셋은 각 기사별 키워드 정보를 포함하지 않으므로 Gemma 모델을 활용해서 각 데이터마다 5개씩 키워드를 추출

키워드 데이터 생성

 

 

 

3.4.6 데이터 전처리

• Gemma 모델이 이해할 수 있도록 기사 형식의 데이터를 대화 형식으로 데이터 전처리 진행

데이터전처리

 

 

 

3.4.7 데이터셋 분리 및 콜레이터 설정

• 학습용 데이터와테스트용 데이터 분리
• 모델이 중점적으로 학습해야할 부분을 지정 

데이터셋 분리 및 콜레이터 설정