에이전트 시대의 AI 시스템 설계

237

4

장

지식 추가: 고급

다행히도 앞에서 언급한 그랜드 캐니언의 중의성 문제는 없었다. 하지만 다음 질문은 상황이

다르다.

뉴캐슬에 있는 석탄 함유 지층의 특징을 나열하세요.

이 경우

1

위 청크는 미국 펜실베이니아주 뉴캐슬에 관한 것이고

2

위 청크는 잉글랜드 뉴캐슬

에 관한 것이 된다. 이러한 중의성을 앞에서 논의한 중의성 탐지 기법으로 발견할 수 있는데,

프로덕션 시스템이라면 탐지 결과에 따라 사용자에게 어느 뉴캐슬을 의미하는지를 물어서 구

체적인 답변을 생성하면 될 것이다.

4.2.4

고려사항

재순위화 모델은 느리고 비싸다. 실행 시점에서 지연시간과 비용이 증가한다. 임베딩 방식에서

는 임베딩들을 미리 계산해서 벡터 데이터베이스에 저장해 두므로 실행 시점의 계산 부담이 적

지만, 재순위화에서는 청크의 유관성을 실행 시점에서 검토해야 한다. 노드 후처리의 핵심은

재순위화이므로, 노드 후처리 패턴을 적용하면 지연시간과 비용이 상당히 증가한다. 재순위화

전용으로 미세조정된 소형 모델(

BGE

등)을 사용하면 이 문제가 어느 정도 완화되지만, 재순

위화를 사용하는

RAG

가 그렇지 않은

RAG

보다 느리다는 점에는 변함이 없다.

노드 후처리에서 수행하는 작업이 많을수록 모든 작업을 단일한

LLM

호출로 통합하는 것이

더 합리적이다. 모든 작업이 제대로 수행되었는지