에이전트 시대의 AI 시스템 설계

526

에이전트 시대의 AI 시스템 설계

9.1

패턴

29

: 템플릿 생성

템플릿 생성

Template

Generation

패턴에서는 템플릿을 미리 만들고 오프라인에서 검토한 후 사용한

다. 그러면 사람이 직접 검토해야 할 응답 항목이 줄어든다. 인퍼런스 시점에 애플리케이션은

이미 검토된 템플릿에서 결정론적 문자열 치환만 수행하면 되므로, 별도의 추가 검토 없이 소

비자에게 최종 응답을 보내도 안전하다.

9.1.1

문제

LLM

은 강력한 기술이지만 비결정론적이라서 부정확하거나 유해한 응답이 만들어질 위험이 늘

있다.

여행사의 운영자가 여행 패키지 구매자에게 감사 편지를 보낸다고 하자. 감사 편지는 개인화되

고 읽기 좋아야 한다. 여러 언어로 제공되면 더욱 좋다. 그러나 무작정

LLM

으로 편지를 생성한

다면 브랜드가 상당한 위험에 노출될 수 있다.

LLM

이 부적절한 표현을 사용하거나 논란의 소

지가 있는 상품을 추천할지도 모른다. 사람이 검토하는 단계를 추가할 수도 있지만, 하루에 수

천 건씩 구매가 이루어진다면 검토 비용이 만만치 않다.

모든 편지를 사람이 검토하는 고비용 옵션을 피하면서

LLM

으로 안전하게 감사 편지를 생성할

방법이 있을까?

9.1.2

해법

이 패턴에서는

LLM

이 감사 편지 자체가 아니라 감사 편지의 템플릿을 생성한다 (그림

9

-

1

).

그 템플릿을 사람이 ...