에이전트 시대의 AI 시스템 설계

364

에이전트 시대의 AI 시스템 설계

이 프롬프트를 사용해서 오픈

AI

의

GPT

-

4o

-

mini

로 발의안 찬성 주장을 평가했더니 이런 결

과가 나왔다 (지면 관계상 일부만 제시한다 ).

3. **이해하기 쉬움: 4**

- 문장이 대체로 쉽고 직관적이어서 주장을 이해하기 좋습니다. 하지만 일부 독자는 "민

사 보호 명령" 같은 용어를 다소 법률적이라고 느낄 수 있습니다. 그런 문구를 피하거

나 간략한 정의를 제공하면 전반적인 이해도를 높일 수 있을 것입니다.

전체 코드와 응답은 원서 깃허브 저장소의

llm

_

as

_

judge

.

ipynb

파일에서 확인할 수 있다.

6.1.4

고려사항

심판형

LLM

패턴에는 중요한 결점이 있는데, 바로 비일관성이다. 또한 너무 관대한 점수를 제

공하는 것도 문제이며, 여러 가지 편향도 조심해야 한다. 이들을 차례로 살펴보자.

비일관성

애초에

LLM

은 비결정론적이므로, 같은 입력에 대해

LLM

이 매번 같은 점수를 산출하지는 않

는다. 캐싱을 적용하고 온도를

0

으로 설정하고 난수 발생 시드값을 동일하게 유지하는 등의 기

법을 이용하면 점수의 비일관성을 줄일 수 있다. 하지만 같은 입력에 대해 같은 점수를 산출하

게 하는 것만으로는 충분하지 않다. 구체적인 표현은 다르지만 뜻이 같은 입력들에 대해 비슷

한 점수가 나오게 해야 한다.

다음은 심판형

LLM ...