728x90
반응형
2.4 인덱싱
1) 인덱싱이란?
- 문서 객체로 구성된 특정 형태의 데이터 구조
2) 벡터 저장소 인덱스
- 라마인덱스에서 가장 널리 사용되는 인덱스 유형
- 문서를 노드 단위로 분할한 뒤, 각 노드의 텍스트를 벡터화 하여 LLM이 쿼리를 보다 효율적으로 처리할 수 있도록 준비
* 벡터 임베딩 : 텍스트의 의미를 수치화하여 벡터로 표현하는 기술, 의미적으로 유사한 단어나 문장은 임베딩 공간에서 물리적으로 가까운 위치에 맵핑된다.
- 장점 : 효율적인 검색, 의미론적 검색, 다양한 쿼리 전략 지원
3) Top-K 검색
- 벡터 저장소 인덱스를 활용하여 쿼리를 수행하고 의미적으로 가장 유사한 상위 K개의 임베딩 결과를 반환하는 검색 방식
2.5 저장하기
- 문서를 인덱싱 하면 쿼리를 실행할 준비가 완료되지만 모든 텍스트에 대해 임베딩을 생성하는 작업은 시간이 오래 걸릴 수 있으므로, 처리속도를 높이고 비용을 절감하기 위해, 한번 생성된 임베딩을 저장해 두고 재사용하는 방법
2.6 쿼리
1) 쿼리 엔진
- 모든 쿼리의 기초, 라마인덱스에서 쿼리를 처리하는 핵심 구성요소
2) 검색
- 입력된 쿼리와 가장 관련있는 문서를 인덱스에서 검색
3) 후처리
- 검색된 노드를 선택적으로 재정렬, 변환, 필터링하는 단계
4) 응답 합성
- 쿼리, 가장 관련있는 데이터가 프롬프트와 결합되어 LLM으로 전송되며, 이를 통해 적절한 응답 생성
5) 커스터마이징
- 라마인덱스는 쿼리 처리과정에서 검색기, 후처리, 응답합성 등의 구성요소를 직접 설정할 수 있는 저수준 구성 API를 제공함
- 이를 통해서 단순한 기본 설정을 넘어서, 각 처리단계릐 동작 방식을 세부적으로 조정할 수 있음
728x90
반응형
'프로그래밍 > LLM' 카테고리의 다른 글
[Day 5] LLM & RAG 실전 챌린지 - 파인콘, 쿼드런트 (0) | 2025.09.07 |
---|---|
[Day 4] LLM & RAG 실전 챌린지 - 벡터스토어, 크로마 (0) | 2025.09.07 |
[Day 2] LLM & RAG 실전 챌린지 - 데이터 로딩, 텍스트 분할 (0) | 2025.09.07 |
[Day 1] LLM & RAG 실전 챌린지 - 라마 인덱스 사용환경 구축 (0) | 2025.09.07 |
[Day 0] LLM & RAG 실전 챌린지 - 준비 (0) | 2025.09.07 |