에이전트 시대의 AI 시스템 설계

357

6

장

신뢰성 개선

트하는 데 걸리는 시간을 줄일 수 있다.

인간 평가

차선책은 인간 전문가가 마케팅 브로슈어를 직접 채점하는 것이다. 이 접근법은 콘텐츠를 실제로 배포하지 않고

도 수행할 수 있다는 장점이 있다. 하지만 인간 평가는 확장성이 나쁘다. 비용이 많이 들고 시간이 오래 걸리며,

개인의 편향에 좌우되고 전문가의 가용성에 제약을 받는다.

자동화된 지표

자연어 처리 (

NLP

) 문헌들은 번역 결과물의 적합성을 측정할 때

BLEU

(

https://oreil.ly/fpueP

) 같은 지

표

metric

를 사용할 것을 권장한다. 콘텐츠 요약의 경우에는

ROUGE

(

https://oreil.ly/O9po8

) 같은 지표가

권장된다. 이런 지표들의 장점은 그 점수를 체계적인 방식으로 계산할 수 있다는 것이다. 이 지표들은 생성된 번

역 텍스트와 참조 번역 텍스트 또는 요약된 콘텐츠와 참조 요약 콘텐츠에 공통으로 존재하는

n

-그램들을 찾는

방식으로 작동한다. 하지만 이런

n

-그램 기반 지표들은 해당 콘텐츠의 실제 의미나 미묘한 차이, 사실적 정확성

을 제대로 포착하지 못한다. 또한 우리가 실제로 달성하려는 결과와의 관련성도 떨어진다. 중장비 판매를 촉진하

는 마케팅 문구를 만드는 문제에 맞도록

BLEU

지표를 커스텀화할 수는 없다.

이 세 가지 접근 방식의 장점을 모두 갖춘 생성형

AI

응답 평가 방법이 있으면 좋을 것이다. 즉,

결과를 잘 대표하는 대리 변수이고, 모델을 실제로 배포하지 않고도 사용할 수 있으며, 체계적

으로 계산할 수 있으면서도 ...