에이전트 시대의 AI 시스템 설계

239

4

장

지식 추가: 고급

환각 위험

RAG

시스템이 여전히 정보를 지어내거나 검색된 문서를 부정확하게 조합할 수 있다. 복잡한 주제를 다룰 때 특

히 그렇다.

현재로서는 이런 문제들을 완전히 피할 방법이 없다. 하지만 생성된 답변 전체 또는 일부에 대

한 신뢰도를 평가해서 평가 결과를 답변과 함께 사용자에게 전달하는 것은 가능하며, 이를 위

한 모범관행들이 존재한다. 모델의 답변이 어떠한 행동을 유발하는 데 쓰인다면, 사용자가 그

행동을 수행할지 말지 결정할 수 있도록 신뢰도를 잘 표현해 주는 것이 중요하다. 예를 들어 의

사나 환자가 다음과 같은 질문을 할 수 있는 의료용

RAG

시스템을 생각해 보자.

3

제1형 당뇨병 환자를 위한 최상의 치료 옵션은 무엇인가요?

여러분은

RAG

시스템이 정확한 답변을 생성하게 하는 데 모든 노력을 기울이되, 아무리 노력

해도 답변이 부정확할 수 있다는 점 역시 유념해야 한다. 그런 차원에서, 특히 의료 같은 분야

에서는 모델이 제시한 치료 옵션 중 일부가 오래된 정보이거나 동료 심사를 거치지 않은 출처

에서 왔을 가능성이 있음을 사용자에게 경고하는 것이 매우 중요하다.

4.3.2

해법

답변의 신뢰도를 높이는 데에는

RAG

시스템이 지식 베이스의 정보가 충분한 질문에만 답하게

하는 것과 함께 사용자에게 출처를 제시하고, 사람을 ‘루프’ ...