에이전트 시대의 AI 시스템 설계

119

2

장

콘텐츠 스타일의 제어

몇 가지 요소를 알아 두면 도움이 된다.

모델이 클수록 결과도 좋다

고성능

LLM

모델을 사용하는 경우 몇 가지 예시만으로도 모델 자체가 가진 방대한 지식과 패턴 적응 능력을 활

용할 수 있다. 라마, 큐원 같은 오픈 소스 모델이든, 앤트로픽이나 오픈

AI

등의 독점 모델이든, 크고 강력한 모델

들은 적은 수의 예시들만으로도 바람직한 스타일 특징들을 훌륭하게 추론해서 적용한다. 일반적으로 매개변수

(가중치 ) 수가 많은 모델일수록 예시로부터의 일반화 능력이 우월하다. 따라서 첫 시도에서 결과가 좋지 않다면

예시들의 품질을 검토하거나, 예시를 더 추가하거나, 더 큰 모델로 전환해 보자. 상용 애플리케이션에서는 모델

매개변수 개수와 낮은 실행 비용 및 지연시간 사이에 끊임없는 절충 (트레이드오프 )이 필요하다는 점을 유의해야

한다.

컨텍스트의 한계

LLM

프롬프트에 예시들을 추가하는 방식의 컨텍스트 내 학습

in

-

context

learning

에서는 입력 길이 (토큰 개수 )가 크

게 늘어난다. 입력 길이 증가는

LLM

의 생성 과정에 여러 영향을 미친다. 첫째로, 주요 모델들의 컨텍스트 창 크

기가 크게 개선되긴 했지만 여전히 한계가 있다. 예시를 많이 추가할수록 실제 프롬프트를 위해 사용할 수 있는

공간은 줄어든다. 또한, 예시가 너무 많으면 예시가 전달하려는 ‘메시지’가 희석되거나 예시들이 서로 모순되어서

LLM

을 “혼란스럽게” 만들 여지가 있다. 이는 결과물의 품질을 낮추는 요인으로 작용한다.

모델 실행 ...