
134
에이전트 시대의 AI 시스템 설계
불확실한 테스트
두 집합을 구분할 수 없다면, 테스트에서 통계적으로 유의한 차이를 얻지 못할 가능성이 높다.
결과를 적용할 수 없음
설령 우연히
A
집합이
B
집합보다 통계적으로 더 낫다는 점이 분명해지더라도, 그 결과를 어떻게 적용해야 할
까?
A
집합과
B
집합을 구별하는 요인이 무엇인지 모른다면, 항상 콘텐츠가 승자 스타일로 생성되게 만들 방법
도 알 수 없다.
반면 지금 이야기하는 콘텐츠 최적화는 ‘승자’ 스타일에 어떤 요인이 들어가는지 모를 때조차도
최고의 성과를 내는 스타일로 콘텐츠를 생성하기 위한 설계 패턴이다.
2.5.2
해법
이 패턴을 이용한 스타일 최적화는 주짓수
Jujitsu
18
와 아주 흡사하다. 이 콘텐츠 최적화 패턴에서
는 기존
A
/
B
테스트 접근법이 가진 세 가지 문제를 재구성하거나 재정의해서 문제를 사라지게
만든다.
구별이 안 되는 집합들
어떤 스타일 요인이 가장 큰 차이를 만드는지 모른다면 집합
A
와
B
의 요소들은 구별할 수 없게 된다. 콘텐츠 최
적화에서는 한 번에 콘텐츠 두 개만 비교하는 방식으로 이 문제를 우회한다. 각 쌍에 대해 ‘이긴’ 콘텐츠를 집합
A
로, 그렇지 않은 콘텐츠를 집합
B
로 분류한다.
불확실한 테스트
이 패턴에서는 ‘테스트’를 단일한 비교 행위로 정의하고, 테스트 자체가 통계적으로 ...