에이전트 시대의 AI 시스템 설계

139

2

장

콘텐츠 스타일의 제어

옵션

1

: 인간의 평가

두 콘텐츠를 사람 전문가에게 보여 주고 더 나은 쪽을 선택하도록 요청한다. 전문가들 사이에

서도 의견이 갈리는 응용 분야라면 여러 명의 전문가로 이루어진 전문가 패널에게 보여 주고

다수 의견을 따르거나, 결정이 명확하지 않은 쌍은 폐기할 수 있다. 전문가 대신 최종 사용자에

게 평가를 맡길 수도 있다. 이 경우 최종 사용자에게 두 콘텐츠를 초안 형태로 나란히 보여 주

고 하나를 선택하게 한다.

옵션

2

: 평가기 사용

업계에 통용되는 콘텐츠 품질 지표

metric

들이 있다면, 하나 또는 여러 개의 지표를 조합한 채점

기준표 또는 ‘루브릭

rubric

’

19

에 따라 두 콘텐츠에 점수를 매길 수 있다. 예를 들어

SQL

질의문

(쿼리 )을 생성하는 경우라면, 메모리 내부 데이터베이스에서 해당

SQL

문을 실행하고 출력과

생성에 걸린 시간을 기록하는 모래상자

sandbox

형태로 평가기를 마련하고, 그 평가기가 올바른

결과를 반환하는

SQL

질의문을 선택하는 식이다. 두

SQL

질의문이 모두 올바른 결과를 반환

한다면 더 짧은 쪽을 고르고, 길이까지 같다면 더 빨리 실행되는 쪽을 선택하면 된다.

마찬가지로 업계의 모범관행

best

practice

들이 존재하는 분야라면 콘텐츠가 그 관행들을 얼마나 잘

따르는지 평가할 ...