에이전트 시대의 AI 시스템 설계

227

4

장

지식 추가: 고급

4.2.1

문제

RAG

시스템은 쿼리와 의미가 유사한 청크들을 검색한다. 그리고 생성 단계에서 그 청크들을

컨텍스트에 추가함으로써

LLM

응답의 근거로 삼는다. 이 접근법에는 몇 가지 문제가 발생할

수 있다.

유사성이 곧 유관성은 아니다

답변하려는 질문과 청크를 연관 지을 때 시스템은 주어진 질문과 ‘유사한

similar

’ 청크들을 찾는

다. 하지만 그 청크들이 반드시 질문과 ‘유관한

relevant

’ 것은 아니다. 다음 질문을 생각해 보자.

그랜드 캐니언의 지질학적 특징은?

이에 대해 시스템은 그랜드 캐니언의 지질학을 언급하는 청크들을 검색하겠지만, 그중에는 질

문과는 유관하지 않은 청크도 있을 수 있다. 예를 들어 우리는 지질학 교과서로 구축한

RAG

가

이런 질문에 대해 그 교과서의 차례(목차 )가 담긴 청크를 돌려주는 상황을 목격했다. 그저 차

례의 제목들에 지질학 용어가 있기 때문에 그런 청크가 반환된 것이었다.

관련 없는 내용

청크에 질문과 유관한 정보가 포함되었고 해도, 그 청크 전체가 질문과 유관한 것은 아니다. 그

랜드 캐니언의 지질학에 관한 질문의 답이 담긴 청크에는 협곡의 위치나 계곡에 대한 설명 같

은 정보도 포함될 수 있다.

그런 청크들이 컨텍스트에 많이 추가되면

LLM

은 질문과는 무관한 정보들에 주의를 빼앗겨서

고품질의 ...