에이전트 시대의 AI 시스템 설계

176

에이전트 시대의 AI 시스템 설계

매우 좋지 않은 결과다. 이상적으로는 정비사가 어떤 단어를 사용하든 동일한 유관 청크들이 검색되어야 한다.

즉, 질문을 이해하고 해당 청크에 질문한 의도에 대한 답이 포함되어 있는지에 기반해서 유관 청크들을 찾는 것

이 바람직하다. 특정 키워드가 일치하는지만 확인하는 방식은 좋지 않은 결과로 이어진다.

청크 크기의 제약

LLM

은 컨텍스트에 추가된 텍스트에 기반해서 응답을 생성하므로, 청크에 포함된 후속 텍스트의 양이 응답의 포

괄성에 영향을 미친다. 예를 들어 장비 매뉴얼을

100

자 단위의 청크로 나눈다면, 보통의 경우 청크 하나에는 어

떠한 장비 수리 절차의 단계 한두 개만 포함될 것이다. 하지만 입력 토큰이 많으면 비용이 증가하고 응답이 느려

진다. 따라서 사용할 수 있는 청크의 크기에는 한계가 있다.

이번 장의

의미 기반 색인화

(패턴

7

) 및

대규모 색인화

(패턴

8

)과 다음 장의

색인 인식 검색

(패

턴

9

),

노드 후처리

(패턴

10

),

신뢰할 수 있는 생성

(패턴

11

),

심층 탐색

(패턴

12

) 같은 여러

패턴은 모두 이 기본

RAG

시스템의 성능을 향상시킨다. 하지만 이런 패턴을 적용할 때는 먼저

패턴이 주는 이점이 패턴 때문에 추가되는 복잡성을 능가하는지를 구체적으로 측정해서 신중

하게 평가해야 한다. 또한, 이 패턴들은 기본

RAG

의 애드온

add

-

on

으로 간주해야 한다. 즉, 기

본

RAG

를 튼튼하게 구축한 후에 덧붙이는 형태가 되어야 한다.

BM25

같은 키워드 기반 검색

기를 생략하고 ...