728x90
반응형

데이터 3

[Day8] 한 권으로 LLM 온라인 스터디 1기 - 단일 GPU Gemma 파인튜닝 2

3.4.5 키워드 데이터 생성jaehy12/new3 데이터셋은 각 기사별 키워드 정보를 포함하지 않으므로 Gemma 모델을 활용해서 각 데이터마다 5개씩 키워드를 추출   3.4.6 데이터 전처리Gemma 모델이 이해할 수 있도록 기사 형식의 데이터를 대화 형식으로 데이터 전처리 진행   3.4.7 데이터셋 분리 및 콜레이터 설정학습용 데이터와테스트용 데이터 분리모델이 중점적으로 학습해야할 부분을 지정

프로그래밍/LLM 2025.01.25

[Day6] 한 권으로 LLM 온라인 스터디 1기 - GPU 병렬화 기법

3.3 GPU 병렬화 기법3.3.1 데이터 병렬 처리(Data Parallelism, DP)전체 데이터를 작은 덩어리 여러 개로 나눠 각각을 서로 다른 GPU에서 동시에 처리학습시간 크게 단축, 메모리 제약 없이 대규모 데이터셋을 효과적으로 다룰 수 있음모든 GPU의 VRAM을 균등하게 활용하지 못함 → 모델 병렬화 기법이 등장 3.3.2 모델 병렬화(Model Parallelism, MP)대규모 신경망 모델을 여러 GPU에서 나누어 처리하는 방식모델을 수직으로 분할해서 처리(수직 모델 병렬화)단일 GPU로는 처리하기 어려운 대규모 모델을 효율적으로 학습하고 실행특정 시점에 대부분의 GPU가 놀고 있을 수 있음기기 간 데이터 복사로 인한 부담이 전체적인 학습속도를 저하시킬 수 있음→ 파이프라인 병렬화 등..

프로그래밍/LLM 2025.01.25

도지코인, XRP가 주도하는 암호화폐 반등, 비트코인 96,000달러 돌파로 트레이더들은 주요 인플레이션 데이터 대기 중

기사내용 :  2025년 1월 14일, 도지코인과 XRP가 암호화폐 시장의 반등을 주도하고 있으며 비트코인은 96,000달러를 돌파했습니다. 이번 급등은 트레이더들이 다가오는 주요 인플레이션 데이터를 기다리는 가운데 이루어졌습니다.   시장에 미치는 영향 :  과거 사례를 살펴보면 주요 인플레이션 데이터 발표 이전의 시장 심리는 암호화폐 가격에 큰 영향을 미칩니다. 긍정적인 경제 지표는 자산에 대한 신뢰를 높여 추가 상승을 촉진할 수 있으며, 반대의 경우에는 투자자의 불안감을 자극해 하락 압박을 받을 수 있습니다. 따라서 투자자들은 계속해서 경제 지표와 금융 정책을 주의 깊게 관찰할 필요가 있습니다.   url :https://www.coindesk.com/markets/2025/01/14/dogecoi..

카테고리 없음 2025.01.15
728x90
반응형