728x90
반응형

2025/01/24 6

[Day2] 한 권으로 LLM 온라인 스터디 1기 - 언어 모델 구조 및 셀프 어텐션 메커니즘 이해

2.3 언어 모델 만들기2.3.1 라이브러리 설명torch : 텐서 연산과 자동 미분기능 등을 제공해 딥러닝 모델 구현에 필수적인 기능 제공torch.nn : 신경망 구축에 필요한 다양한 레이어와 매개변수 관리 기능 제공이를 통해 모델 아키텍처를 정의하고 매개변수를 초기화하며, 순전파(forward pass)를 구현할 수 있다 2.3.2 __init__ 함수__init__- 클래스 인스턴스가생성될 때 자동으로 호출되는 메서드- 신경망 모델에서는 모델 구조와 필요한 초기설정을 정의함super().__init__()- 부모 클래스의 __init__ 메서드를 호출 → nn.Module의 생성자 호출super()- 여러 클래스를 동시에 상속받을 때 생길 수 있는 복잡한 상황을 관리하기 위함num_embeddin..

프로그래밍/LLM 2025.01.24

[Day1] 한 권으로 LLM 온라인 스터디 1기 - NLP 이해와 런팟 설치

1. NLP(Natural Language Processing)자연어 처리단순한 규칙으로 시작 → 복잡한 언어 모델로 발전 2. 이정표가 되는 논문 세편앨런 튜링https://courses.cs.umbc.edu/471/papers/turing.pdf - 기계는 생각할 수 있는가?- 사고의 개념에 대하서 철학적 논의보다 실용적인 접근을 선호했기 때문프랭크 로젠블랫https://www.ling.upenn.edu/courses/cogs501/Rosenblatt1958.pdf - 인공 신경망 모델은 퍼셉트론 개념을 실제 하드웨어로 구현한 최초의 기계- 현대 인공 신경망과 딥러닝의 기초가 되어 오늘날 사용하는 많은 인공지능의 기반이 됨- 연결주의 접근법, 통계적 접근법- 선형적 분리(시간적 패턴 인식 및 비선형적..

프로그래밍/LLM 2025.01.24

[Day0] 한 권으로 LLM 온라인 스터디 1기 - 준비

1. 책 준비https://wikibook.co.kr/llm-finetuning/ 한 권으로 끝내는 실전 LLM 파인튜닝: GPT 작동 원리부터 Gemma 2 / Llama 3 파인튜닝, vLLM 서빙까지실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자! AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터 실전 활용까지 단계별로 마스터할wikibook.co.kr    2. 네이버 위키북스 스터디 카페https://cafe.naver.com/wikibookstudy 위키, 북스터디 :: 위키북스 스터디 : 네이버 카페[IT/개발스터디] 파이썬/C언어/자바/웹,앱개발/스터디/도커/머신러닝/독학cafe.naver.com    3. 위키붓그 깃..

프로그래밍/LLM 2025.01.24

이더 가격 급등 준비, SEC SAB 121 폐지

기사내용 :  코인텔레그래프에 따르면, 이더리움의 가격이 곧 중요한 기술적 변화를 겪을 것으로 예상되고 있습니다. 현재 SEC(Securities and Exchange Commission)가 SAB 121을 폐지함에 따라 시장 전반에 걸쳐 일반적으로 긍정적인 반응을 보이고 있습니다. SAB 121은 기존의 회계 규제로, 암호화폐의 회계 처리에 대한 엄격한 규정이 포함되어 있었습니다. 규제가 완화되면서, 이더리움과 같은 주요 암호화폐에 대한 기관 투자자의 접근이 더욱 용이해질 것으로 기대됩니다. 시장에 미치는 영향 :  과거 사례를 보면, 규제가 완화되거나 제거될 때, 암호화폐 시장에 긍정적인 영향을 미쳤습니다. SAB 121의 폐지는 신규 자금 유입을 촉진하고, 더 많은 기관 투자가 이더리움 시장에 참..

코인 뉴스 2025.01.24

비트코인, 일본은행의 매파적 금리 인상 후 미화 104,000달러 근처에서 안정세 유지

기사내용 :  2025년 1월 24일, 비트코인 가격이 일본은행이 매파적 성향의 금리 인상을 단행한 이후 미화 104,000달러 근처에서 안정세를 유지하고 있습니다. 일본은행은 물가와 경기 과열을 억제하기 위해 금리를 인상한 것으로 보이며, 이러한 조치는 금융 시장 전반에 영향을 미치고 있습니다. 비트코인은 비교적 안정적인 수행을 보이고 있으나, 전 세계 투자자들은 변동성 증가 가능성을 주시하고 있습니다. 시장에 미치는 영향 :  과거 일본은행의 금리 인상은 글로벌 금융 시장에 큰 영향을 미쳤습니다. 특히, 낮은 금리는 자산의 매력을 높여 가격 상승에 기여하는 반면, 금리 인상은 반대로 자금 조달 비용을 높여 자산 투자에 부담을 줄 수 있습니다. 현재 비트코인의 경우, 일본은행의 매파적 기조가 비트코인 ..

코인 뉴스 2025.01.24

비트코이너, 트럼프의 모호한 암호화폐 주문에 고전 중

기사내용 :  트럼프 전 미국 대통령이 발표한 암호화폐 관련 명령이 불명확하다는 비판이 제기되면서, 비트코인 커뮤니티와 투자자들 사이에서 혼란이 일고 있습니다. 이러한 불명확성은 암호화폐 시장의 불확실성을 증가시키고 있으며, 투자자들은 변동성 확대에 대한 우려를 갖고 있습니다.   시장에 미치는 영향 :  과거에도 정부나 주요 인물의 선언은 암호화폐 시장에 큰 영향을 미쳤습니다. 특히 불확실성이 클 때 이러한 발언은 변동성을 더욱 키워 단기적인 시장 불안을 초래할 수 있습니다. 투자자들은 정치적 요소를 주시하며 신중한 선택이 필요할 것입니다.   url :https://cointelegraph.com/news/bitcoiners-struggling-trump-vague-crypto-stockpile-or..

코인 뉴스 2025.01.24
728x90
반응형