31weeks

4.1 개발 환경 구축하기​4.2 실습용 데이터 준비​4.3 PDF 파일 다루기4.3.2 텍스트 분할텍스트 분할 = 청킹 = 긴 문장을 짧게 나누어 노드에 담는 작업하나의 모큐먼트 안에 여러 의미가 뒤섞여 있을 수 있으므로, 의미의 일관성을 유지하며 인덱싱을 하려면 텍스트를 별도로 분할하는 절차가 필요함잘 분할된 데이터는 RAG의 답변 성능에 큰 영향을 미치며, 답변 정확도 뿐 아니라 답변 속도에도 영향을 준다.​4.3.3 인덱싱데이터를 구조화하여 빠르게 검색할 수 있도록 하는 과정라마인덱스에서는 문서를 노드로 분할한 뒤, 각 노드의 의미를 벡터 임베딩으로 변환해서 저장인덱스가 잘 구축되어 있으면 데이터를 효율적으로 건색하고 관리할 수 있음​​4.4 텍스트 파일 다루기​4.5 CSV 파일 다루기​4.6 ..

3.3 파인콘클라우드 기반의 고성능 벡터 데이터베이스클라우드 환경에서 대규모 벡터데이터를 효율적으로 관리하고, 실시간 검색을 지원하는데 유리클라우드를 통해 글로벌 분산 아키텍쳐를 지원하여 여러 지역에 데이터를 분산 저장하고 검색성능을 최적화전 세계 사용자에게 일관되고 빠른 응답속로를 제공클라우드 기반이기 때문에 데이터의 크기가 증가하더라도 복잡한 인프라 설정 없이 손쉽게 인프라 확장 가능​​​3.4 쿼드런트라마인덱스에서 활용 가능한 벡터 스토어 중 하나온프레미스와 클라우드 환경 모두 폭넓게 지원하는 패키지

* 라마인덱스 주요 파이프라인데이터 로딩 -> 텍스트 분할 -> 인덱싱 -> 저장 -> 쿼리 -> 검색​​2.1 개발 환경 구축하기​2.2 데이터 로딩데이터 커넥터 : 다양한 데이터 소스에서 정보를 가져오는 역할데이터 리더 : 가져온 데이터를 어떻게 처리할 것인지, 처리 방식에 중점을 두는 도구​2.3 텍스트 분할문서와 노드 : 라마인덱스에서 데이터를 구조화하고 관리하는 핵심 요소, 효율적인 인덱싱과 검색을 위한 기반 a. 문서 : 원시 데이터를 처리 가능한 형태로 변환한 데이터의 기본 단위 b. 노드 : 문서를 더 작은 단위로 세분화하여 검색 및 분석할 수 있는 기본 단위​ 토큰 단위 분할 : 문서를 일정한 길이의 토큰 단위로 나누는 방식문장 단위 분할 : 문서를 각 문장을 기준으로 나누는 방식의미 단..

1.1 라마인덱스가 지원하는 작업 1.2 라마인덱스 사용환경 구축- 파이썬 설치- 가상환경 생성- API키 발급 1.3 라마인덱스 맛보기- 데이터 준비- 라마 인덱스 설치- 라마인덱스 실행