31weeks

3.1 전체 파인튜닝 데이터 준비3.1.1 전체 파인튜닝의 원리와 종류파인튜닝이란?- 이미 학습되어 공개된 언어 모델(Pre-trained Language Model,)을 특정 작업에 맞게 추가로 학습하는 것- 성능을 높이고자 하는분야나 풀고자 하는 문제의 데이터로 추가 학습   → 모델이 해당 분야에서 더 정확하고 신뢰할 수 있는 응답을 생성할 수 있게 됨파인튜닝을 하는 이유- 처음부터 모델을 개발하는 것 보다 훨씬 더 경제적이고 편리함- 특정분야의 데이터는 매우 적음 → 과적합, 자연스러운 언어생성 능력 부족파인튜닝의 종류- PEFT(Parameter-Efficient Fine-Tuning, 매개변수 효율적 파인튜닝)  a. 어댑터 튜닝(Adapter Tuning) : 기존의 거대한 언어 모델에 작은..

2.6 멀티헤드 어텐션과 피드포워드 2.6.1 멀티헤드 어텐션 만들기어텐션 메커니즘 : 모델이 입력 데이터의 중요한 부분에 집중할 수 있게 하는 것멀티헤드 어텐션 : 여러개의 어텐션 메커니즘을 병렬로 사용해 다양한 관점에서 정보를 동시에 처리  2.6.2 피드포워드 만들기각 어텐션 블록 뒤에 피드포워드 네트워크를 배치각 시퀀스 위치마다 독립적으로 적용되어 모델의 표현력을 높임어텐션 메커니즘으로부터 얻은 표현을 더욱 풍부하게 만듬→ 모델이 더 복잡한 데이터 패턴을 학습할 수 있게 돕는 과정 2.7 Blocks 만들기복잡한 신경망 모델에서 블록은 모델의 설계와 구현에 중요한 구조적 단위모델 내 다양한 계층과 구성 요소를 하나로 묶어 모듈화, 개사용성, 확장성을 크게 향상시킴각  블록 내에서 주로 어텐션 메커..

기사내용 :  최근 보도에 따르면 미국 대통령 도널드 트럼프가 암호화폐 산업에 대한 새로운 계획을 갖고 있으며, 이는 암호화폐 거래소 코인베이스의 CEO 브라이언 암스트롱에 의해 주목받고 있습니다. 암스트롱은 트럼프의 암호화폐 관련 정책이 기술 발전과 금융 혁신에 긍정적인 영향을 미칠 가능성이 있다고 언급했습니다. 그러나 정확한 정책의 내용과 실행 시기에 대한 정보는 아직 밝혀지지 않았습니다. 트럼프의 행정부는 과거에 암호화폐에 다소 회의적인 입장을 보여왔지만, 새로운 계획이 어떻게 구성될지에 대해 많은 관심이 모아지고 있습니다. 시장에 미치는 영향 :  과거 사례를 살펴보면, 정부의 암호화폐 정책 발표는 시장에 즉각적인 영향을 미칠 수 있습니다. 긍정적인 정책은 투자자들 사이에서 낙관적인 전망을 불러일..

기사내용 :  트럼프 전 미국 대통령이 2025년 재임했을 당시의 첫 주에 대한 평가를 다루고 있습니다. 싱가포르에서 암호화폐 규제 완화를 강하게 추진했으며, 글로벌 경제에 미치는 영향을 고려한 새로운 정책을 도입했습니다. 그의 정책은 주로 비트코인 및 기타 주요 암호화폐에 긍정적인 영향을 미칠 것으로 예상됩니다.   시장에 미치는 영향 :  역사적으로, 미국 대통령의 정책 변화는 금융 및 암호화폐 시장에 큰 영향을 미쳤습니다. 특히, 트럼프의 이전 임기에서는 규제 완화 및 경제 성장에 중점을 두어 시장의 기대 심리를 높이는 경향이 있었습니다. 따라서 트럼프의 두 번째 임기에서도 비슷한 패턴을 볼 수 있으며, 이러한 정책이 암호화폐 시장의 긍정적 변동성을 증가시킬 것으로 예상됩니다. url :https:..

기사내용 :  블랙록은 최근 나스닥에 비트코인 ETF 상장을 위한 신청서를 제출하였습니다. 이 신청서는 비트코인의 직접 현물 상환이라는 중요한 기능을 포함하고 있습니다. 이는 블랙록이 비트코인 시장에 더 깊숙이 관여하려는 의도를 나타냅니다. 비트코인 현물 상환은 투자자들이 ETF를 통해 비트코인의 실제 소유권을 확보할 수 있음을 의미하며, 이는 잠재적으로 비트코인의 수요를 높일 수 있습니다. 시장에 미치는 영향 :  과거 사례를 살펴보면, 비트코인 ETF에 대한 기대가 높아짐에 따라 비트코인 가격은 상승하는 경향이 있었습니다. ETF 승인 소식은 보통 시장에 긍정적인 영향을 미치며, 투자자들의 관심이 증가하여 유동성이 높아질 수 있습니다. 그러나 ETF 신청이 승인되지 않으면 단기적인 가격 변동성이 커질..

2.3 언어 모델 만들기2.3.1 라이브러리 설명torch : 텐서 연산과 자동 미분기능 등을 제공해 딥러닝 모델 구현에 필수적인 기능 제공torch.nn : 신경망 구축에 필요한 다양한 레이어와 매개변수 관리 기능 제공이를 통해 모델 아키텍처를 정의하고 매개변수를 초기화하며, 순전파(forward pass)를 구현할 수 있다 2.3.2 __init__ 함수__init__- 클래스 인스턴스가생성될 때 자동으로 호출되는 메서드- 신경망 모델에서는 모델 구조와 필요한 초기설정을 정의함super().__init__()- 부모 클래스의 __init__ 메서드를 호출 → nn.Module의 생성자 호출super()- 여러 클래스를 동시에 상속받을 때 생길 수 있는 복잡한 상황을 관리하기 위함num_embeddin..

1. NLP(Natural Language Processing)자연어 처리단순한 규칙으로 시작 → 복잡한 언어 모델로 발전 2. 이정표가 되는 논문 세편앨런 튜링https://courses.cs.umbc.edu/471/papers/turing.pdf - 기계는 생각할 수 있는가?- 사고의 개념에 대하서 철학적 논의보다 실용적인 접근을 선호했기 때문프랭크 로젠블랫https://www.ling.upenn.edu/courses/cogs501/Rosenblatt1958.pdf - 인공 신경망 모델은 퍼셉트론 개념을 실제 하드웨어로 구현한 최초의 기계- 현대 인공 신경망과 딥러닝의 기초가 되어 오늘날 사용하는 많은 인공지능의 기반이 됨- 연결주의 접근법, 통계적 접근법- 선형적 분리(시간적 패턴 인식 및 비선형적..

1. 책 준비https://wikibook.co.kr/llm-finetuning/ 한 권으로 끝내는 실전 LLM 파인튜닝: GPT 작동 원리부터 Gemma 2 / Llama 3 파인튜닝, vLLM 서빙까지실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자! AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터 실전 활용까지 단계별로 마스터할wikibook.co.kr    2. 네이버 위키북스 스터디 카페https://cafe.naver.com/wikibookstudy 위키, 북스터디 :: 위키북스 스터디 : 네이버 카페[IT/개발스터디] 파이썬/C언어/자바/웹,앱개발/스터디/도커/머신러닝/독학cafe.naver.com    3. 위키붓그 깃..

기사내용 :  코인텔레그래프에 따르면, 이더리움의 가격이 곧 중요한 기술적 변화를 겪을 것으로 예상되고 있습니다. 현재 SEC(Securities and Exchange Commission)가 SAB 121을 폐지함에 따라 시장 전반에 걸쳐 일반적으로 긍정적인 반응을 보이고 있습니다. SAB 121은 기존의 회계 규제로, 암호화폐의 회계 처리에 대한 엄격한 규정이 포함되어 있었습니다. 규제가 완화되면서, 이더리움과 같은 주요 암호화폐에 대한 기관 투자자의 접근이 더욱 용이해질 것으로 기대됩니다. 시장에 미치는 영향 :  과거 사례를 보면, 규제가 완화되거나 제거될 때, 암호화폐 시장에 긍정적인 영향을 미쳤습니다. SAB 121의 폐지는 신규 자금 유입을 촉진하고, 더 많은 기관 투자가 이더리움 시장에 참..

기사내용 :  2025년 1월 24일, 비트코인 가격이 일본은행이 매파적 성향의 금리 인상을 단행한 이후 미화 104,000달러 근처에서 안정세를 유지하고 있습니다. 일본은행은 물가와 경기 과열을 억제하기 위해 금리를 인상한 것으로 보이며, 이러한 조치는 금융 시장 전반에 영향을 미치고 있습니다. 비트코인은 비교적 안정적인 수행을 보이고 있으나, 전 세계 투자자들은 변동성 증가 가능성을 주시하고 있습니다. 시장에 미치는 영향 :  과거 일본은행의 금리 인상은 글로벌 금융 시장에 큰 영향을 미쳤습니다. 특히, 낮은 금리는 자산의 매력을 높여 가격 상승에 기여하는 반면, 금리 인상은 반대로 자금 조달 비용을 높여 자산 투자에 부담을 줄 수 있습니다. 현재 비트코인의 경우, 일본은행의 매파적 기조가 비트코인 ..