728x90
반응형
1. NLP(Natural Language Processing)
- 자연어 처리
- 단순한 규칙으로 시작 → 복잡한 언어 모델로 발전
2. 이정표가 되는 논문 세편
- 앨런 튜링
https://courses.cs.umbc.edu/471/papers/turing.pdf
- 기계는 생각할 수 있는가?
- 사고의 개념에 대하서 철학적 논의보다 실용적인 접근을 선호했기 때문 - 프랭크 로젠블랫
https://www.ling.upenn.edu/courses/cogs501/Rosenblatt1958.pdf
- 인공 신경망 모델은 퍼셉트론 개념을 실제 하드웨어로 구현한 최초의 기계
- 현대 인공 신경망과 딥러닝의 기초가 되어 오늘날 사용하는 많은 인공지능의 기반이 됨
- 연결주의 접근법, 통계적 접근법
- 선형적 분리(시간적 패턴 인식 및 비선형적 분류 문제에 대한 한계로 암흑기 도래) - 데이비드 루멜하트, 제프리 힌튼, 로널드 윌리엄
https://gwern.net/doc/ai/nn/1986-rumelhart-2.pdf
- 비선형 문제를 해결할 수 있는 방법을 제시 → 암흑기를 돌파
- 역저나 알고리즘
순방향 학습과 역방향(역전파) 학습
3. 런팟 소개와 사용법
RunPod - The Cloud Built for AI
Develop, train, and scale AI models in one cloud. Spin up on-demand GPUs with GPU Cloud, scale ML inference with Serverless.
www.runpod.io
4. 데이터 준비와 모델 구성
- git clone 방식으로 진행
git clone https://github.com/wikibook/llm-finetuning.git - datasets 라이브러리 설치
pip install -q datasets
https://github.com/wikibook/llm-finetuning
GitHub - wikibook/llm-finetuning: 《한 권으로 끝내는 실전 LLM 파인튜닝》 예제 코드
《한 권으로 끝내는 실전 LLM 파인튜닝》 예제 코드. Contribute to wikibook/llm-finetuning development by creating an account on GitHub.
github.com
728x90
반응형
'프로그래밍 > LLM' 카테고리의 다른 글
| [Day5] 한 권으로 LLM 온라인 스터디 1기 - GPT, Gemma, Llama3 모델 특징 비교 (0) | 2025.01.25 |
|---|---|
| [Day4] 한 권으로 LLM 온라인 스터디 1기 - 파인튜닝 개념 (1) | 2025.01.25 |
| [Day3] 한 권으로 LLM 온라인 스터디 1기 - 멀티헤드 어텐션 & 피드포워드 (0) | 2025.01.25 |
| [Day2] 한 권으로 LLM 온라인 스터디 1기 - 언어 모델 구조 및 셀프 어텐션 메커니즘 이해 (0) | 2025.01.24 |
| [Day0] 한 권으로 LLM 온라인 스터디 1기 - 준비 (1) | 2025.01.24 |