에이전트 시대의 AI 시스템 설계

132

에이전트 시대의 AI 시스템 설계

2.5

패턴

5

: 콘텐츠 최적화

콘텐츠 최적화

Content

Optimization

는 선호도 조정을 이용해서 콘텐츠 생성의 성과

performance

16

를 최적

화하는 패턴이다.

선호도 조정

preference

tuning

은 기각(거부 )된 항목과 승인 (선택 )된 항목의 쌍들

로

LLM

을 훈련해서,

LLM

이 기각된 항목보다는 승인된 항목에 더 가까운 응답을 출력하도록

만든다. 일반적으로 콘텐츠 생성의 최적화는 어떤 객관적인 진실 공급원

source

of

truth

에 좀 더 가

까운 콘텐츠를 생성하려는 시도를 뜻하지만, 이 패턴은 어떤 정해진

평가 방법

evaluation

method

이

훌륭하다고 간주할 만한 콘텐츠를 생성하도록 모델을 ‘해킹

hacking

’하는 편법에 가깝다.

2.5.1

문제

일반적으로 콘텐츠는 어떠한 목적(교육, 오락, 판매 촉진 등 )을 위해 만들어진다. 따라서

LLM

을 이용해서 콘텐츠를 생성할 때는

LLM

이 그 목적에 가장 부합하는 스타일로 콘텐츠를 생성하

게 하는 것이 바람직하다.

이처럼 콘텐츠를 특정한 스타일에 맞게 생성하는 가장 간단한 접근법 중 하나는 전통적인

A

/

B

테스트이다. 하지만 이 접근법은 주어진 시나리오에서 가장 중요한 스타일 요인이 어떤 것인

지에 대한 가설이 있을 때에만 효과가 ...