728x90
반응형

언어모델 2

[Day2] 한 권으로 LLM 온라인 스터디 1기 - 언어 모델 구조 및 셀프 어텐션 메커니즘 이해

2.3 언어 모델 만들기2.3.1 라이브러리 설명torch : 텐서 연산과 자동 미분기능 등을 제공해 딥러닝 모델 구현에 필수적인 기능 제공torch.nn : 신경망 구축에 필요한 다양한 레이어와 매개변수 관리 기능 제공이를 통해 모델 아키텍처를 정의하고 매개변수를 초기화하며, 순전파(forward pass)를 구현할 수 있다 2.3.2 __init__ 함수__init__- 클래스 인스턴스가생성될 때 자동으로 호출되는 메서드- 신경망 모델에서는 모델 구조와 필요한 초기설정을 정의함super().__init__()- 부모 클래스의 __init__ 메서드를 호출 → nn.Module의 생성자 호출super()- 여러 클래스를 동시에 상속받을 때 생길 수 있는 복잡한 상황을 관리하기 위함num_embeddin..

프로그래밍/LLM 2025.01.24

ChatGPT가 자연어 처리 분야에서 중요한 역할을 하는 이유

최근들어 인공지능 기술이 급격히 발전하면서 자연어 처리 분야에서도 인공지능이 많은 역할을 하고 있습니다. 그 중에서도 ChatGPT는 자연어 처리 분야에서 중요한 역할을 합니다. 그 이유는 무엇일까요? 우선, ChatGPT는 인공지능 언어 모델 중에서 가장 유명한 모델 중 하나입니다. 이는, GPT의 사전학습 기술이 매우 뛰어나기 때문입니다. ChatGPT는 대량의 텍스트 데이터를 학습하며, 이를 바탕으로 다양한 자연어 처리 분야에서 활용됩니다. 예를 들어, 챗봇에서는 사용자의 질문에 대한 답변을 자연스럽게 생성할 수 있습니다. 또한, ChatGPT는 텍스트 생성 분야에서도 활용됩니다. 이는, GPT가 학습한 데이터를 바탕으로 문장을 생성하거나 요약하는 등 다양한 기능을 제공할 수 있기 때문입니다. 하지..

728x90
반응형