[Day12] 한 권으로 LLM 온라인 스터디 1기 - 효율적인 파라미터 튜닝 (LoRA 2)

4.1.6 모델 학습

• 지도 학습 방식의 파인 튜닝을 쉽게 수행할 수 있게해주는 도구인 SFTTrainer를 사용해서 실제 훈련 과정을 설정

모델 학습

 

 

 

4.1.7 학습한 모델 테스트하기

• generate를 이용한 테스트
  - generate 함수를 직접 사용
  - AutoModellForCausalLM 클래스를 통해 직접 불러와서 사용 → 자연어 생성에 특화, generate 함수 제공
  - 생성 과정의 다양한 매개변수를 직접 조정할 수 있어 세밀한 제어 가능
• pipeline를 이용한 테스트
  - 허깅페이스에서 제공하는 편리한 기능 → 모델 사용 과정을 간소화
  - 모델 로딩, 토크나이징, 텍스트 생성, 디코딩 등의 과정을 한 번에 처리
  - 내부적으로 필요한 전처리와 후처리과정을 자동으로 수행

 

 

4.1.8 모델 성능을 OpenAI로 평가하기

• 평가 지표 설정
  - 공감 능력
  - 적절한 응답
  - 안정성
  - 전문성
  - 대화의 일관성
  - 개방형 질문 사용
  - 비판적 태도
  - 문화적 민감성
  - 목표 지향성
  - 윤리성
  - 대화 진행
  - 장기적 관점

OpenAI API를 활용한 모델성능평가

 

평균점수 구하기