31weeks

7.1 개발 환경 구축하기​7.2 리랭킹LLM 기반 리랭킹은 대규모 언어 모델(LLM)을 활용해 초기 검색 결과를 다시 평가하고, 사용자의 질문과 가장 관련성이 높은 순서로 결과를 정렬하는 방법LLM 은 초기 검색 결과를 전체적으로 검토함LLM이 새롭게 계산한 점수를 기준으로, 기존 임베딩 모델의 겸색 결과를 다시 정렬함​​[ 기본 RAG ]벡터 검색으로 상위 4개 문서를 찾아옴LLM 호출 1회 : 검색된 4개 문서 전체를 바탕으로 답변을 생성총 LLM 호출 : 1회​[ 리랭킹 적용 RAG ]벡터 검색으로 상위 4개 문서를 찾아옴LLM 호출 4회 : 각 문서와 질문의 관련성을 1-10점 사이로 평가함LLM 호출 1회 : 관련성 점수가 높은 상위 2개 문서를 이용해 답변을 생성총 LLM 호출 : 5회​​7..

6.3 허깅페이스 임베딩한글 성능이 뛰어난 임베딩 모델인 'BAAI/bge-m3' 사용​​6.4 에이전트 만들기ReAct 에이전트는 Thought(생각), Action(도구 사용), Observation(관찰) 세가지 과정을 반복하여 문제를 해결한다.도구들을 GPT-4.1과 연결하여 스스로 생각하고, 도구를 선택하고 실행하는 ReAcT 에이전트​a. Thought (생각) : 사용자의 요청을 분석하고, 어떤 도구와 입력값을 사용할지 고민b. Action (도구 선택) : 사용할 도구 결정c. Action Input (도구 입력값) : 선택한 도구에 제공할 입력값을 결정d. Observation (도구 사용 결과) : 도구의 출력 결과를 확인-> 이 네가지 과정은 문제가 해결될 때까지 몇 번이고 반복될 수..

* ReAcT 방법론 : 대규모 언어모델이 추론(Reasoning)과 행동(Acting)을 결합하여 문제를 해결하는 방법론​​[ 실제 동작방식 ]​1) Thought - 첫 번째 생각2) Action - 도구 사용3) Observation - 도구 사용 결과4) Thought - 두 번째 생각5) Action - 도구 사용6) Observation - 도구 사용 결과7) Thought - 세 번째 생각.........​​6.1 개발환경 구축​6.2 데이터 준비

5.1 개발 환경 구축하기​5.2 데이터 준비하기​5.3 OpenAI API로 다중모달 벡터 인덱싱하기​5.4 쿼드런트를 활용한 다중모달 RAG 구축하기​쿼드런트 설치 및 클라이언트 설정텍스트 및 이미지 데이터를 위한 벡터 스토어 생성라마인덱스를 사용해 다중모달 벡터 인덱스 구축질의(Query)를 통해 검색 결과 확인​5.5 질의응답 기반 RAG 시스템 구축​5.6 이미지 기반 RAG 시스템 구축​검색할 데이터를 수집내려받은 이미지를 벡터화하여 데이터베이스에 저장입력 이미지와 유사한 이미지를 검색하고 결과를 비교

4.1 개발 환경 구축하기​4.2 실습용 데이터 준비​4.3 PDF 파일 다루기4.3.2 텍스트 분할텍스트 분할 = 청킹 = 긴 문장을 짧게 나누어 노드에 담는 작업하나의 모큐먼트 안에 여러 의미가 뒤섞여 있을 수 있으므로, 의미의 일관성을 유지하며 인덱싱을 하려면 텍스트를 별도로 분할하는 절차가 필요함잘 분할된 데이터는 RAG의 답변 성능에 큰 영향을 미치며, 답변 정확도 뿐 아니라 답변 속도에도 영향을 준다.​4.3.3 인덱싱데이터를 구조화하여 빠르게 검색할 수 있도록 하는 과정라마인덱스에서는 문서를 노드로 분할한 뒤, 각 노드의 의미를 벡터 임베딩으로 변환해서 저장인덱스가 잘 구축되어 있으면 데이터를 효율적으로 건색하고 관리할 수 있음​​4.4 텍스트 파일 다루기​4.5 CSV 파일 다루기​4.6 ..

3.3 파인콘클라우드 기반의 고성능 벡터 데이터베이스클라우드 환경에서 대규모 벡터데이터를 효율적으로 관리하고, 실시간 검색을 지원하는데 유리클라우드를 통해 글로벌 분산 아키텍쳐를 지원하여 여러 지역에 데이터를 분산 저장하고 검색성능을 최적화전 세계 사용자에게 일관되고 빠른 응답속로를 제공클라우드 기반이기 때문에 데이터의 크기가 증가하더라도 복잡한 인프라 설정 없이 손쉽게 인프라 확장 가능​​​3.4 쿼드런트라마인덱스에서 활용 가능한 벡터 스토어 중 하나온프레미스와 클라우드 환경 모두 폭넓게 지원하는 패키지

3.1 개발환경 구축하기​3.2 크로마- 오픈소스 벡터 저장소- 벡터 스토어를 간편하게 구현할 수 있는 강력한 벡터 데이터베이스​​* 메타데이터 필터링 : 검색시 특정 조건을 만족하는 메타데이터를 가진 벡터만 검색 대상에 포함시킬 수 있음

2.4 인덱싱 1) 인덱싱이란?문서 객체로 구성된 특정 형태의 데이터 구조​2) 벡터 저장소 인덱스라마인덱스에서 가장 널리 사용되는 인덱스 유형문서를 노드 단위로 분할한 뒤, 각 노드의 텍스트를 벡터화 하여 LLM이 쿼리를 보다 효율적으로 처리할 수 있도록 준비​* 벡터 임베딩 : 텍스트의 의미를 수치화하여 벡터로 표현하는 기술, 의미적으로 유사한 단어나 문장은 임베딩 공간에서 물리적으로 가까운 위치에 맵핑된다.장점 : 효율적인 검색, 의미론적 검색, 다양한 쿼리 전략 지원​3) Top-K 검색벡터 저장소 인덱스를 활용하여 쿼리를 수행하고 의미적으로 가장 유사한 상위 K개의 임베딩 결과를 반환하는 검색 방식​​2.5 저장하기문서를 인덱싱 하면 쿼리를 실행할 준비가 완료되지만 모든 텍스트에 대해 임베딩을 ..

* 라마인덱스 주요 파이프라인데이터 로딩 -> 텍스트 분할 -> 인덱싱 -> 저장 -> 쿼리 -> 검색​​2.1 개발 환경 구축하기​2.2 데이터 로딩데이터 커넥터 : 다양한 데이터 소스에서 정보를 가져오는 역할데이터 리더 : 가져온 데이터를 어떻게 처리할 것인지, 처리 방식에 중점을 두는 도구​2.3 텍스트 분할문서와 노드 : 라마인덱스에서 데이터를 구조화하고 관리하는 핵심 요소, 효율적인 인덱싱과 검색을 위한 기반 a. 문서 : 원시 데이터를 처리 가능한 형태로 변환한 데이터의 기본 단위 b. 노드 : 문서를 더 작은 단위로 세분화하여 검색 및 분석할 수 있는 기본 단위​ 토큰 단위 분할 : 문서를 일정한 길이의 토큰 단위로 나누는 방식문장 단위 분할 : 문서를 각 문장을 기준으로 나누는 방식의미 단..

1.1 라마인덱스가 지원하는 작업 1.2 라마인덱스 사용환경 구축- 파이썬 설치- 가상환경 생성- API키 발급 1.3 라마인덱스 맛보기- 데이터 준비- 라마 인덱스 설치- 라마인덱스 실행