실무로 통하는 LLM 애플리케이션 설계

397

12

장

검색 증강 생성(RAG)

●

고유 명사나 날짜와 같은 항목을 마스킹하고, 모델이 검색된 컨텍스트를 바탕으로 이를 예측하도록 학습합

니다.

●

마스킹된 모든 토큰이 외부 지식이 있어야 예측 가능한 것은 아닙니다. 이를 고려해 항상 빈 문서를 검색 결과

에 포함합니다.

●

검색된 문서는 마스킹된 토큰 자체가 아닌 해당 토큰을 예측하는 데 필요한 컨텍스트를 포함해야 하므로 마스

킹된 토큰이 그대로 들어 있는 검색 결과는 제외됩니다.

12.8

RAG

의 한계

RAG

는

LLM

의 유용성을 확장하고 환각을 줄이는 강력한 패러다임이지만,

LLM

의 모든 한계

를 해결하지는 못합니다.

RAG

사용의 몇 가지 함정은 다음과 같습니다.

●

텍스트 단편 검색에 의존하므로 문제에 대한 깊은 이해보다는 표면적인 정보에 근거해 답변하는 경향이 있습

니다.

●

파이프라인의 병목 지점이 검색 단계가 될 수 있습니다. 적절한 문서를 검색하지 못하면

LLM

의 강력한 생성

능력도 무용지물이 됩니다.

●

검색된 문서가

LLM

내부 파라미터에 저장된 지식과 상충되기도 합니다. 정답에 접근할 수 없는 경우,

LLM

은

이런 모순을 해결하기 어렵습니다.

LLM

이 모순된 정보를 다루는 방법

LLM

이 내부적으로 보유한 표현과

RAG

를 통해 검색된 외부 정보 간에 모순이 발생할 수 있습니

다. 그 ...