
250
GPT API를 활용한 인공지능 앱 개발(2판)
지식 검색
가장 유사한
페이지
컨텍스트
생성
LLM
답변쿼리
그림
5-6
사용자의 질문에 답하기 위해 검색된 정보가
LLM
의 컨텍스트에 추가됨
LLM
으로 입력값을 전송하기 전에 문서에서 검색을 먼저 수행하는 이유는 무엇일까요? 현재의
LLM
은 대용량 문서 파일을 효율적으로 스캔할 수 없습니다. 따라서 너무 큰 입력값이 들어오
게 되면 토큰 초과로 답변을 못 하거나 임의로 제한된 정보만 활용하게 되고, 이에 따라 할루시
네이션이나 잘못된 값을 출력합니다. 하지만 가까운 미래에 정보 검색 기술을 사용하지 않고도
언어 모델이 정확히 답변하는 기술이 구현될 것으로 기대됩니다.
5.2
라마인덱스
라마인덱스
LlamaIndex
는 랭체인과 유사한 기능을 제공하는 프레임워크지만, 구현 논리와 접근 방
식이 다릅니다. 랭체인은 체인 개념을 중심으로 만들어졌지만, 라마인덱스의 초점은 컨텍스트
가 추가된 거대 언어 모델 애플리케이션에 있습니다.
라마인덱스는
RAG
기반 솔루션을 만들기 좋은 프레임워크입니다. 프레임워크의 홈페이지
(
https
://
oreil
.
ly
/
e
-
lhS
)에 나와 있는 것처럼, 라마인덱스는 사용자의 데이터를 거대 언
어 모델에 연결하는 간단하고 유연한 데이터 프레임워크입니다. 랭체인처럼 오픈
AI
및 다른
LLM
과 호환됩니다. ...