에이전트 시대의 AI 시스템 설계

228

에이전트 시대의 AI 시스템 설계

검색되기 전까지는 중의성 문제가 있다는 점을 알아차리지 못하는 경우가 많다 (좋은 예로, 미

국에 그랜드 캐니언이 두 곳 있다는 점을 이 문단을 보고 처음 안 독자가 많을 것이다 ).

상충하거나 오래된 콘텐츠

지식 베이스는 시간이 흐르면서 계속 갱신되지만, 새 자료를 추가할 뿐 기존 자료를 제거하지

는 않는 경우도 많다. 그런 지식 베이스에서 지원 티켓이나 법률 관련 문서를 검색하면 오래된

콘텐츠에 해당하는 청크를 얻게 될 가능성이 높다. 물론 지식 베이스를 항상 최신 상태로 깨끗

하게 유지하는

RAG

시스템을 구축할 수도 있다. 하지만 사용자마다 사용하는 소프트웨어 버

전이 다르거나 적용되는 현지 법률이 다를 수 있으므로, 상충하는 정보를 담은 청크들이 검색

되는 일을 완전히 피하기는 어렵다.

너무 일반적인 답변

RAG

시스템은 모든 사람에게 동일한 방식으로 작동한다. 따라서 누가 질문하든 같은 질문에

는 같은 답변을 제공한다. 그렇다면 질문하는 사람과 관련된 정보를 이용해 생성되는 답변을

개인화하려면 어떻게 해야 할까?

이상의 모든 문제를 해결하는 데 도움이 되는 것이 바로 노드 후처리 패턴이다.

4.2.2

해법

노드 후처리 패턴은 다수의 검색 메커니즘으로 청크들을 검색한 후 결합, 재순위화

rerank

, 필터

링 같은 후처리 연산들을 적용해서 컨텍스트의 품질을 높인다(그림

4

-

3

). 그러한 추가적인 후

처리 연산들은 검색 단계와 생성 단계 사이에서 일어난다. 후처리 연산 중 상당수는

LLM

에 맡

길 수 ...