에이전트 시대의 AI 시스템 설계

289

5

장

모델 능력 확장

시범 예시는 사람이 작성할 수도 있지만, 다음 과정을 따라

LLM

을 이용해서 생성하는 것이 비

용이 적게 들고 확장성도 좋다 (그림

5

-

4

).

1

.

다양한 질문을 수집해서 ‘문제 은행

question

bank

’을 만든다. 각 질문에는 정답이 하나뿐이어야 한다.

2

.

제로샷

CoT

를 사용해서 이 질문들의 답변을 생성한다. 각 질문에 대해 여러 기초 모델을 사용하거나 동

일한 모델에 다른 설정을 적용해서 다수의 답변을 얻는다.

3

.

답변들의 일관성과 정확성을 검사한다. 결과가 올바를 뿐만 아니라 그 결과를 도출하는 논리적 단계가 신

뢰성 있게 반복되는 답변을 정답으로 선정한다.

4

.

이 검사를 통과한 질문

-

답변 쌍을 예시 저장소에 추가한다.

예시 저장소를 만든 후, 새로운 질문이 주어지면 해당 데이터베이스에서 주어진 질문과 가장

가까운 질문 몇 개 (이를테면

5

개)에 해당하는 시범 예시를 찾고 퓨샷

CoT

에서처럼 그 예시를

컨텍스트에 추가한다.

앞 절의 팁 상자에 나온 물고기와 낚시 비유를 기억할 것이다. 퓨샷

CoT

처럼 자동

CoT

도 낚

시하는 법을 모델에 알려준다. 자동

CoT

가 퓨샷

CoT

보다 개선된 점은, 예시 저장소에 다양한

낚시 방법 (작살 낚시, 통발, 낚싯대, 트롤링, 베이트 캐스팅 등)에 대한 시범 예시가 있다는 것

이다. ...