[Day1] 한 권으로 LLM 온라인 스터디 1기 - NLP 이해와 런팟 설치

1. NLP(Natural Language Processing)

• 자연어 처리
• 단순한 규칙으로 시작 → 복잡한 언어 모델로 발전

 

2. 이정표가 되는 논문 세편

• 앨런 튜링
  https://courses.cs.umbc.edu/471/papers/turing.pdf
  - 기계는 생각할 수 있는가?
  - 사고의 개념에 대하서 철학적 논의보다 실용적인 접근을 선호했기 때문
  
  
• 프랭크 로젠블랫
  https://www.ling.upenn.edu/courses/cogs501/Rosenblatt1958.pdf
  - 인공 신경망 모델은 퍼셉트론 개념을 실제 하드웨어로 구현한 최초의 기계
  - 현대 인공 신경망과 딥러닝의 기초가 되어 오늘날 사용하는 많은 인공지능의 기반이 됨
  - 연결주의 접근법, 통계적 접근법
  - 선형적 분리(시간적 패턴 인식 및 비선형적 분류 문제에 대한 한계로 암흑기 도래)
• 데이비드 루멜하트, 제프리 힌튼, 로널드 윌리엄
  https://gwern.net/doc/ai/nn/1986-rumelhart-2.pdf
  - 비선형 문제를 해결할 수 있는 방법을 제시 → 암흑기를 돌파
  - 역저나 알고리즘
  

  

  순방향 학습과 역방향(역전파) 학습

  
  
  

3. 런팟 소개와 사용법

https://www.runpod.io/

RunPod - The Cloud Built for AI

 

 

4. 데이터 준비와 모델 구성

• git clone 방식으로 진행
  git clone https://github.com/wikibook/llm-finetuning.git
  
  
• datasets 라이브러리 설치
  pip install -q datasets

 

https://github.com/wikibook/llm-finetuning

GitHub - wikibook/llm-finetuning: 《한 권으로 끝내는 실전 LLM 파인튜닝》 예제 코드