에이전트 시대의 AI 시스템 설계

178

에이전트 시대의 AI 시스템 설계

전체적인 의미

키워드 색인화는 청크의 전체적인 의미를 놓친다. 예를 들어 정확히 ‘중의성’이라는 단어가 등장하지 않더라도 내

용 자체는 중의성에 관한 청크가 있을 수 있지만, 키워드 색인화는 그런 청크를 찾아내지 못한다.

다국어 처리 능력

예를 들어 문서가 영어로 되어 있고 질문이 한국어라면 일치하는 결과를 찾을 가능성이 아주 낮다.

다중 모달 문서

전통적인 색인화 방식은 이미지나 비디오처럼 텍스트가 아닌 미디어는 색인화하지 못한다.

레이아웃 맥락

전통적인 색인화 방식은 정보가 배치된 방식에 내재된 의미를 무시한다. 대표적인 예가 표(테이블 )이다. 또한 그

림 캡션 (그림을 설명하는 설명 문구 )이 바로 그 위에 있는 이미지에 관한 것이라는 사실도 알아차리지 못한다.

이런 요소들이 중요한 애플리케이션에서는 단순한 키워드가 아니라 의미를 기반으로 청크와

쿼리를 연결하는 것이 바람직하다.

더 나아가, 정확한 일치 방식은 거짓 양성

false

positive

오류 (긍정 오류 )를 양산할 수 있다. 앞에서

예로 든 약자

CHF

를 생각해 보자. 이것은 ‘울혈성 심부전’일 수도 있고, 아예 분야가 다른 ‘임계

열유속

critical

heat

flux

’일 수도 있으며 심지어는 스위스 프랑(통화 단위 )을 뜻할 수도 있다.

9

모든

것은 ...