에이전트 시대의 AI 시스템 설계

355

6

장

신뢰성 개선

신뢰성 개선

CHAPTER

6

기초 모델을 비롯해 대부분의 생성형

AI

모델은 원래부터

확률적

stochastic

이다. 생성 과정에 확률

과 무작위성이 관여하기 때문이다. 그러다 보니 모델에 기반한 생성형

AI

애플리케이션들은 일

관성 없는 출력, 사실 부정확성, 환각 같은 문제를 겪는다. 이번 장에서는 그런 문제들을 완화

하는 패턴 네 가지를 소개한다.

심판형

LLM

LLM

-

as

-

a

-

Judge

(패턴

17

)은 모델 출력의 품질을 다른 기초 모델 또는 미세조정된 모

델로 평가함으로써 체계적인 평가 및 개선을 가능하게 한다.

성찰

Reflection

(패턴

18

)은 모델이

자신의 작업 과정과 결과물을 비평하고 정련

refinement

하는 과정을 반복하게 한다.

의존성 주입

De-

pendency

Injection

(패턴

19

)은 컴포넌트의 모의 구현

mocking

을 가능하게 함으로써 테스트 가능성과

견고성을 높인다. 마지막으로

프롬프트 최적화

Prompt

Optimization

(패턴

20

)은 입력 프롬프트를 구

조적으로 정련함으로써 다양한 입력 분포에 걸쳐 출력 신뢰성을 극대화한다.

이 패턴들을 종합하면 생성형

AI

응용의 신뢰도를 높이는 프레임워크가 된다. 평가, 자가 교정,

불확실성 정량화, 모듈식 설계, 입력 최적화 메커니즘을 통합하면 신뢰성 높은 ...