31weeks

기사내용 :  최근 이더리움 및 여러 알트코인이 미국의 트럼프 대통령이 발표한 새로운 관세 뉴스로 인해 두 자릿수 하락세를 보였습니다. 이는 시장의 불안감이 커졌기 때문으로 분석되며, 전반적인 암호화폐 시장에 악영향을 미쳤습니다.   시장에 미치는 영향 :  암호화폐 시장은 종종 세계 경제 및 정치 뉴스에 민감하게 반응합니다. 과거에도 경제적 불확실성이 있을 때 암호화폐 가격이 변동성을 보이곤 했습니다. 트럼프의 관세 발표는 투자자들 사이에서 위험 요소로 인식되어 코인 판매를 유발하고 이는 시장 내 자산 가치 하락을 초래할 수 있습니다. 그러나, 장기적으로는 시장 안정화와 회복 가능성도 있으며, 투자자들은 신중한 접근이 요구됩니다.   url :https://cointelegraph.com/news/et..

기사내용 :  최근 트럼프 전 대통령의 관세 정책이 새로운 무역 전쟁을 촉발하면서 비트코인 시장에 상당한 불확실성을 가져오고 있습니다. 이러한 불확실성은 비트코인의 가치가 $75,000까지 하락할 가능성을 두 배로 증가시켰습니다. Derive의 온체인 옵션 시장 분석에 따르면 투자자들이 이러한 변동성을 헤지하기 위해 더 많은 옵션을 사용하고 있습니다. 시장에 미치는 영향 :  과거에 무역 전쟁은 글로벌 시장에 부담을 주었으며, 암호화폐 시장 역시 이러한 긴장의 영향을 쉽게 받을 수 있습니다. 특히, 비트코인은 국제 경제 변동성에 민감하기 때문에 가격에 즉각적인 영향을 받을 가능성이 높습니다. 따라서 투자자들은 자산을 보호하기 위한 전략을 구체화하고, 시장의 변동성에 신속하게 대응할 필요가 있을 것입니다...

기사내용 :  2023년 10월 5일 - 도널드 트럼프 전 미국 대통령의 새로운 무역 정책 발표가 시장에 큰 충격을 주었습니다. 무역 전쟁의 격화 우려로 인해 나스닥 선물이 급락했으며, 이는 글로벌 주식 시장 전체에 부정적인 영향을 미칠 것으로 보입니다. 시장 전문가들은 이러한 정책이 세계 경제 성장에 부정적인 영향을 미칠 가능성이 있다고 경고하고 있으며, 투자자들은 불확실성이 지속될 것으로 보고 있습니다. 시장에 미치는 영향 :  과거에도 무역 분쟁이 있을 때 금융 시장은 높은 변동성을 보였습니다. 기업의 이익이 줄어들고, 글로벌 공급망이 위협받으면서 주가는 큰 폭으로 하락했습니다. 이번에도 미국과 다른 국가 간의 무역 긴장이 고조되면 시장은 단기적으로 하향 압력을 받을 가능성이 큽니다. 하지만 장기적..

5.1 페이지드 어텐션 원리페이지드 어텐션 시스템의 주요 구성 요소- Logical KV Cache Blocks : 모델이 처리하는 데이터의 논리적 구조- Block Table :  논리적 구조와 실제 물리적 메모리 위치를 연결하는 중개자 역할- Physical KV Cache Blocks : 실제 데이터가 저장되는 물리적 메모리 공간→ 이 세 요소가 함께 작동해 대규모 언어 모델의 메모리 사용을 최적화 하고, 효율적인 데이터 접근을 가능하게 함→ 컴퓨터의 가상 메모리 시스템과 유사하게 제한된 물리적 자원을 효과적으로 관리하고 활용할 수 있게 해줌   5.2 vLLM 사용 방법vLLM은 페이지드 어텐션 기술을 구현한 라이브러리로, 대규모 언어 모델을 효율적으로 메모리에 로드하고 빠른 텍스트 생성을 가능하..

4.2.6 파라미터 설정'3.5.2 Llama 3.1 학습 파라미터 설정' 참고https://31weeks.tistory.com/483 [Day10] 한 권으로 LLM 온라인 스터디 1기 - 다중 GPU Llama3 파인튜닝3.5 다중 GPU를 활용한 Llama3.1-8B-instruct 파인 튜닝 3.5.1 런팟 환경 설정H100XM x 41Pytorch 2.2.0Container Disk 400GBVolume Disk 400GBgit clone https://github.com/wikibook/llm-finetuningcd llm-finetuning/chapter3/3.5pip install -r requirem31weeks.com   4.2.7 모델 학습model : Ko-Llama3 모델 지정ar..

4.2 QLoRA 이론 및 실습4.2.1 양자화의 이해부동소수점의 개념 다양한 데이터 타입과 정밀도의 관계- FP32 : 실수를 표현하는 표준적인 방식 중 하나, 단정밀도라고 불리며 32비트(4바이트) 사용, 매우 넓은 범위의 숫자 표현 가능, 0 주변의 숫자들을 더 세밀하게 표현할 수 있음(높은 정밀도), 메모리 사용량이 큰 편이고 대규모 모델이나 데이터셋을 다룰 때 제한요소가 될 수 있음. - FP16 : 반정밀도라고도 불리는 숫자 표현 방식, 16비트 사용, FP32 보다 정밀도 낮고 표현할 수 있는 값의 범위가 좁다, 메모리 사용량이 적고 계산 효율성이 높음, 같은 메모리 공간에 더 많은 데이터를 저장할 수 있고 연산 속도도 빨라서대규모 머신러닝 모델 훈련이나 추론 과정에 자주 사용됨, 정밀도가 ..

4.1.6 모델 학습지도 학습 방식의 파인 튜닝을 쉽게 수행할 수 있게해주는 도구인 SFTTrainer를 사용해서 실제 훈련 과정을 설정   4.1.7 학습한 모델 테스트하기generate를 이용한 테스트- generate 함수를 직접 사용- AutoModellForCausalLM 클래스를 통해 직접 불러와서 사용 → 자연어 생성에 특화, generate 함수 제공- 생성 과정의 다양한 매개변수를 직접 조정할 수 있어 세밀한 제어 가능pipeline를 이용한 테스트- 허깅페이스에서 제공하는 편리한 기능 → 모델 사용 과정을 간소화- 모델 로딩, 토크나이징, 텍스트 생성, 디코딩 등의 과정을 한 번에 처리- 내부적으로 필요한 전처리와 후처리과정을 자동으로 수행  4.1.8 모델 성능을 OpenAI로 평가하..

4.1 LoRA 이론 및 실습 4.1.1 LoRA 개념사전 학습된 대규모 모델(Pre-Trained Model)은 이미 방대한 데이터로 학습됐지만, 새로운 데이터를 처리하거나 특정 작업에 맞추려면 추가적인 파인 튜닝이 필요함새로운 데이터를 반영하려고 전체 모델을 수정하는 것은 비효율적LoRA는 사전 학습된 모델의 구조를 그대로 유지하면서 필요한 만큼만 파라미터를 효율적으로 수정하는 방법  4.1.2 런팟 환경 설정H100PCIe x1Pytorch 2.1Container Disk 200GBVolume Disk 200GB  4.1.3 Gemma-2-9B-it 모델 준비https://huggingface.co/google/gemma-2-9b-it google/gemma-2-9b-it · Hugging Face..

3.5 다중 GPU를 활용한 Llama3.1-8B-instruct 파인 튜닝 3.5.1 런팟 환경 설정H100XM x 41Pytorch 2.2.0Container Disk 400GBVolume Disk 400GBgit clone https://github.com/wikibook/llm-finetuningcd llm-finetuning/chapter3/3.5pip install -r requirements.txt  3.5.2 Llama 3.1 학습 파라미터 설정model_name : 사용할 모델 ID, 허깅페이스에 등록된 모델 이름dataset_path : 학습에 사용할 데이터셋이 위치한 경로max_seq_length : 모델이 처리할 수 있는 최대 시퀀스 길이 설정output_dir : 학습과정에서 생성..

기사내용 :  테슬라와 스페이스X의 CEO인 일론 머스크가 미국 정부의 지출을 억제하기 위한 수단으로 블록체인 기술을 탐색하고 있다는 소식이 전해졌다. 머스크는 블록체인의 투명성과 추적 가능성을 활용하여 정부 지출을 더욱 효율적으로 관리할 수 있을 것이라고 언급했다. 특히 정부의 재정 운영에서 불필요한 지출을 줄이고, 더 나아가 부패 방지에도 기여할 수 있는 방안을 모색 중인 것으로 알려졌다.   시장에 미치는 영향 :  일론 머스크의 발언이나 계획은 종종 시장에 중요한 영향을 미친다. 과거 그가 비트코인이나 도지코인에 대한 의견을 발표했을 때 시장에서 해당 암호화폐의 가격이 심하게 변동했던 사례가 있다. 이번 블록체인 기술 도입에 대한 언급은 블록체인 관련 주식이나 암호화폐 시장에 긍정적인 영향을 미칠..