31weeks

[Day 7] LLM & RAG 실전 챌린지 - 다중모달 RAG 실습

5.1 개발 환경 구축하기​5.2 데이터 준비하기​5.3 OpenAI API로 다중모달 벡터 인덱싱하기​5.4 쿼드런트를 활용한 다중모달 RAG 구축하기​쿼드런트 설치 및 클라이언트 설정텍스트 및 이미지 데이터를 위한 벡터 스토어 생성라마인덱스를 사용해 다중모달 벡터 인덱스 구축질의(Query)를 통해 검색 결과 확인​5.5 질의응답 기반 RAG 시스템 구축​5.6 이미지 기반 RAG 시스템 구축​검색할 데이터를 수집내려받은 이미지를 벡터화하여 데이터베이스에 저장입력 이미지와 유사한 이미지를 검색하고 결과를 비교

[Day 6] LLM & RAG 실전 챌린지 - 텍스트 문서를 이용한 RAG 실습

4.1 개발 환경 구축하기​4.2 실습용 데이터 준비​4.3 PDF 파일 다루기4.3.2 텍스트 분할텍스트 분할 = 청킹 = 긴 문장을 짧게 나누어 노드에 담는 작업하나의 모큐먼트 안에 여러 의미가 뒤섞여 있을 수 있으므로, 의미의 일관성을 유지하며 인덱싱을 하려면 텍스트를 별도로 분할하는 절차가 필요함잘 분할된 데이터는 RAG의 답변 성능에 큰 영향을 미치며, 답변 정확도 뿐 아니라 답변 속도에도 영향을 준다.​4.3.3 인덱싱데이터를 구조화하여 빠르게 검색할 수 있도록 하는 과정라마인덱스에서는 문서를 노드로 분할한 뒤, 각 노드의 의미를 벡터 임베딩으로 변환해서 저장인덱스가 잘 구축되어 있으면 데이터를 효율적으로 건색하고 관리할 수 있음​​4.4 텍스트 파일 다루기​4.5 CSV 파일 다루기​4.6 ..

[Day 5] LLM & RAG 실전 챌린지 - 파인콘, 쿼드런트

3.3 파인콘클라우드 기반의 고성능 벡터 데이터베이스클라우드 환경에서 대규모 벡터데이터를 효율적으로 관리하고, 실시간 검색을 지원하는데 유리클라우드를 통해 글로벌 분산 아키텍쳐를 지원하여 여러 지역에 데이터를 분산 저장하고 검색성능을 최적화전 세계 사용자에게 일관되고 빠른 응답속로를 제공클라우드 기반이기 때문에 데이터의 크기가 증가하더라도 복잡한 인프라 설정 없이 손쉽게 인프라 확장 가능​​​3.4 쿼드런트라마인덱스에서 활용 가능한 벡터 스토어 중 하나온프레미스와 클라우드 환경 모두 폭넓게 지원하는 패키지

[Day 4] LLM & RAG 실전 챌린지 - 벡터스토어, 크로마

3.1 개발환경 구축하기​3.2 크로마- 오픈소스 벡터 저장소- 벡터 스토어를 간편하게 구현할 수 있는 강력한 벡터 데이터베이스​​* 메타데이터 필터링 : 검색시 특정 조건을 만족하는 메타데이터를 가진 벡터만 검색 대상에 포함시킬 수 있음

[Day 3] LLM & RAG 실전 챌린지 - 인덱싱, 저장하기, 쿼리

2.4 인덱싱 1) 인덱싱이란?문서 객체로 구성된 특정 형태의 데이터 구조​2) 벡터 저장소 인덱스라마인덱스에서 가장 널리 사용되는 인덱스 유형문서를 노드 단위로 분할한 뒤, 각 노드의 텍스트를 벡터화 하여 LLM이 쿼리를 보다 효율적으로 처리할 수 있도록 준비​* 벡터 임베딩 : 텍스트의 의미를 수치화하여 벡터로 표현하는 기술, 의미적으로 유사한 단어나 문장은 임베딩 공간에서 물리적으로 가까운 위치에 맵핑된다.장점 : 효율적인 검색, 의미론적 검색, 다양한 쿼리 전략 지원​3) Top-K 검색벡터 저장소 인덱스를 활용하여 쿼리를 수행하고 의미적으로 가장 유사한 상위 K개의 임베딩 결과를 반환하는 검색 방식​​2.5 저장하기문서를 인덱싱 하면 쿼리를 실행할 준비가 완료되지만 모든 텍스트에 대해 임베딩을 ..

[Day 2] LLM & RAG 실전 챌린지 - 데이터 로딩, 텍스트 분할

* 라마인덱스 주요 파이프라인데이터 로딩 -> 텍스트 분할 -> 인덱싱 -> 저장 -> 쿼리 -> 검색​​2.1 개발 환경 구축하기​2.2 데이터 로딩데이터 커넥터 : 다양한 데이터 소스에서 정보를 가져오는 역할데이터 리더 : 가져온 데이터를 어떻게 처리할 것인지, 처리 방식에 중점을 두는 도구​2.3 텍스트 분할문서와 노드 : 라마인덱스에서 데이터를 구조화하고 관리하는 핵심 요소, 효율적인 인덱싱과 검색을 위한 기반 a. 문서 : 원시 데이터를 처리 가능한 형태로 변환한 데이터의 기본 단위 b. 노드 : 문서를 더 작은 단위로 세분화하여 검색 및 분석할 수 있는 기본 단위​ 토큰 단위 분할 : 문서를 일정한 길이의 토큰 단위로 나누는 방식문장 단위 분할 : 문서를 각 문장을 기준으로 나누는 방식의미 단..

[Day 1] LLM & RAG 실전 챌린지 - 라마 인덱스 사용환경 구축

1.1 라마인덱스가 지원하는 작업 1.2 라마인덱스 사용환경 구축- 파이썬 설치- 가상환경 생성- API키 발급 1.3 라마인덱스 맛보기- 데이터 준비- 라마 인덱스 설치- 라마인덱스 실행

[Day 0] LLM & RAG 실전 챌린지 - 준비

1. 책준비https://wikibook.co.kr/llm-rag/ LLM과 RAG로 구현하는 AI 애플리케이션: 에이전트, 펑션콜링, Text-to-SQL, MCP까지 라마인덱스 실무 가검색 증강 생성(RAG), 펑션 콜링, 에이전트, 벡터 스토어, 그리고 최신 프레임워크 MCP까지! 이 책은 빠르게 진화하는 AI 기술 트렌드를 단순히 따라가는 데 그치지 않고 실제 구현과 통합에 필요한wikibook.co.kr 2. 네이버 위키북스 스터디 카페https://cafe.naver.com/wikibookstudy 위키, 북스터디 :: 위키북스 스터디 : 네이버 카페[IT/개발스터디] 파이썬/C언어/자바/웹,앱개발/스터디/도커/머신러닝/독학cafe.naver.com 3. 위키북스 깃허브 - llama-..