31weeks

기사내용 :  2023년 10월 5일 - 도널드 트럼프 전 미국 대통령의 새로운 무역 정책 발표가 시장에 큰 충격을 주었습니다. 무역 전쟁의 격화 우려로 인해 나스닥 선물이 급락했으며, 이는 글로벌 주식 시장 전체에 부정적인 영향을 미칠 것으로 보입니다. 시장 전문가들은 이러한 정책이 세계 경제 성장에 부정적인 영향을 미칠 가능성이 있다고 경고하고 있으며, 투자자들은 불확실성이 지속될 것으로 보고 있습니다. 시장에 미치는 영향 :  과거에도 무역 분쟁이 있을 때 금융 시장은 높은 변동성을 보였습니다. 기업의 이익이 줄어들고, 글로벌 공급망이 위협받으면서 주가는 큰 폭으로 하락했습니다. 이번에도 미국과 다른 국가 간의 무역 긴장이 고조되면 시장은 단기적으로 하향 압력을 받을 가능성이 큽니다. 하지만 장기적..

5.1 페이지드 어텐션 원리페이지드 어텐션 시스템의 주요 구성 요소- Logical KV Cache Blocks : 모델이 처리하는 데이터의 논리적 구조- Block Table :  논리적 구조와 실제 물리적 메모리 위치를 연결하는 중개자 역할- Physical KV Cache Blocks : 실제 데이터가 저장되는 물리적 메모리 공간→ 이 세 요소가 함께 작동해 대규모 언어 모델의 메모리 사용을 최적화 하고, 효율적인 데이터 접근을 가능하게 함→ 컴퓨터의 가상 메모리 시스템과 유사하게 제한된 물리적 자원을 효과적으로 관리하고 활용할 수 있게 해줌   5.2 vLLM 사용 방법vLLM은 페이지드 어텐션 기술을 구현한 라이브러리로, 대규모 언어 모델을 효율적으로 메모리에 로드하고 빠른 텍스트 생성을 가능하..

4.2.6 파라미터 설정'3.5.2 Llama 3.1 학습 파라미터 설정' 참고https://31weeks.tistory.com/483 [Day10] 한 권으로 LLM 온라인 스터디 1기 - 다중 GPU Llama3 파인튜닝3.5 다중 GPU를 활용한 Llama3.1-8B-instruct 파인 튜닝 3.5.1 런팟 환경 설정H100XM x 41Pytorch 2.2.0Container Disk 400GBVolume Disk 400GBgit clone https://github.com/wikibook/llm-finetuningcd llm-finetuning/chapter3/3.5pip install -r requirem31weeks.com   4.2.7 모델 학습model : Ko-Llama3 모델 지정ar..

4.2 QLoRA 이론 및 실습4.2.1 양자화의 이해부동소수점의 개념 다양한 데이터 타입과 정밀도의 관계- FP32 : 실수를 표현하는 표준적인 방식 중 하나, 단정밀도라고 불리며 32비트(4바이트) 사용, 매우 넓은 범위의 숫자 표현 가능, 0 주변의 숫자들을 더 세밀하게 표현할 수 있음(높은 정밀도), 메모리 사용량이 큰 편이고 대규모 모델이나 데이터셋을 다룰 때 제한요소가 될 수 있음. - FP16 : 반정밀도라고도 불리는 숫자 표현 방식, 16비트 사용, FP32 보다 정밀도 낮고 표현할 수 있는 값의 범위가 좁다, 메모리 사용량이 적고 계산 효율성이 높음, 같은 메모리 공간에 더 많은 데이터를 저장할 수 있고 연산 속도도 빨라서대규모 머신러닝 모델 훈련이나 추론 과정에 자주 사용됨, 정밀도가 ..

4.1.6 모델 학습지도 학습 방식의 파인 튜닝을 쉽게 수행할 수 있게해주는 도구인 SFTTrainer를 사용해서 실제 훈련 과정을 설정   4.1.7 학습한 모델 테스트하기generate를 이용한 테스트- generate 함수를 직접 사용- AutoModellForCausalLM 클래스를 통해 직접 불러와서 사용 → 자연어 생성에 특화, generate 함수 제공- 생성 과정의 다양한 매개변수를 직접 조정할 수 있어 세밀한 제어 가능pipeline를 이용한 테스트- 허깅페이스에서 제공하는 편리한 기능 → 모델 사용 과정을 간소화- 모델 로딩, 토크나이징, 텍스트 생성, 디코딩 등의 과정을 한 번에 처리- 내부적으로 필요한 전처리와 후처리과정을 자동으로 수행  4.1.8 모델 성능을 OpenAI로 평가하..

4.1 LoRA 이론 및 실습 4.1.1 LoRA 개념사전 학습된 대규모 모델(Pre-Trained Model)은 이미 방대한 데이터로 학습됐지만, 새로운 데이터를 처리하거나 특정 작업에 맞추려면 추가적인 파인 튜닝이 필요함새로운 데이터를 반영하려고 전체 모델을 수정하는 것은 비효율적LoRA는 사전 학습된 모델의 구조를 그대로 유지하면서 필요한 만큼만 파라미터를 효율적으로 수정하는 방법  4.1.2 런팟 환경 설정H100PCIe x1Pytorch 2.1Container Disk 200GBVolume Disk 200GB  4.1.3 Gemma-2-9B-it 모델 준비https://huggingface.co/google/gemma-2-9b-it google/gemma-2-9b-it · Hugging Face..

3.5 다중 GPU를 활용한 Llama3.1-8B-instruct 파인 튜닝 3.5.1 런팟 환경 설정H100XM x 41Pytorch 2.2.0Container Disk 400GBVolume Disk 400GBgit clone https://github.com/wikibook/llm-finetuningcd llm-finetuning/chapter3/3.5pip install -r requirements.txt  3.5.2 Llama 3.1 학습 파라미터 설정model_name : 사용할 모델 ID, 허깅페이스에 등록된 모델 이름dataset_path : 학습에 사용할 데이터셋이 위치한 경로max_seq_length : 모델이 처리할 수 있는 최대 시퀀스 길이 설정output_dir : 학습과정에서 생성..

기사내용 :  테슬라와 스페이스X의 CEO인 일론 머스크가 미국 정부의 지출을 억제하기 위한 수단으로 블록체인 기술을 탐색하고 있다는 소식이 전해졌다. 머스크는 블록체인의 투명성과 추적 가능성을 활용하여 정부 지출을 더욱 효율적으로 관리할 수 있을 것이라고 언급했다. 특히 정부의 재정 운영에서 불필요한 지출을 줄이고, 더 나아가 부패 방지에도 기여할 수 있는 방안을 모색 중인 것으로 알려졌다.   시장에 미치는 영향 :  일론 머스크의 발언이나 계획은 종종 시장에 중요한 영향을 미친다. 과거 그가 비트코인이나 도지코인에 대한 의견을 발표했을 때 시장에서 해당 암호화폐의 가격이 심하게 변동했던 사례가 있다. 이번 블록체인 기술 도입에 대한 언급은 블록체인 관련 주식이나 암호화폐 시장에 긍정적인 영향을 미칠..

기사내용 :  최근 도지코인(Dogecoin) 커뮤니티에서 도지코인을 위한 새로운 블록체인 이니셔티브가 발표되었습니다. 이 프로젝트의 목표는 도지코인의 유용성과 활용성을 높이는 것이며, 이를 통해 더 많은 개발자를 유치하고 애플리케이션을 개발할 수 있도록 하는 것입니다. 이 이니셔티브는 도지코인의 기술적 잠재력을 최대한 활용할 수 있도록 돕고, 특히 확장성과 효율성 측면에서 개선을 이루는 것을 목표로 하고 있습니다.   시장에 미치는 영향 :  도지코인을 위한 새로운 블록체인 이니셔티브는 시장에서 긍정적인 반응을 이끌어낼 가능성이 큽니다. 과거 비트코인이나 이더리움과 같은 주요 암호화폐가 기술적 개선을 통해 가치가 상승하는 사례가 있었듯이, 도지코인 역시 새로운 기술적 진보가 실제 사용 사례로 발전한다면..

3.4.8 학습 파라미터 설정output_dir : 학습 중 만들어지는 체크포인트 저장 폴더 지정max_steps : 모델이 학습하는 총 스텝 수per_device_train_batch_size : 학습할 때 각 GPU나 CPU에서 한번에 처리할 데이터 샘플의 수per_device_eval_batch_size : 평가할 때 각 GPU나 CPU에서 한번에 처리할 데이터 샘플의 수weight_decay : 과적합을 막기 위해 모델 가중치를 조절하는 강도logging_dir : 로깅 도구가 사용할, 학습 중 발생하는 로그 정보를 저장하는 위치 지정logging_steps : 학습 상태, 손실값 등을 기록하는 주기 → 학습 과정 추적할 수 있음report_to : 학습 현황 관찰할 도구 (ex. wandb.ai..