실무로 통하는 LLM 애플리케이션 설계

204

2

부

LLM 활용하기

항을 프롬프트에 추가합니다. 성능이 향상하긴 했지만, 새로운 규칙을 추가할 때마다 프롬프트가 점점 길어

져 마치 문법 소책자처럼 부풀어 오르게 됩니다.

5

장에서 살펴봤듯이,

LLM

은 프롬프트 내에서 한정된 수의 지시 사항만 따를 수 있으며 실제 효과적인 컨

텍스트 윈도의 크기는 제작사에서 홍보하고 있는 크기보다 훨씬 작습니다. 이 지점에서 한계에 부딪히게 됩

니다.

사례

2

금융 텍스트에서 질문에 답하는 작업을 살펴보겠습니다.

LLM

은 금융 전문가가 아니므로 전문적인 금융 용

어를 이해하고 처리하는 데 어려움을 겪습니다. 이를 보완하기 위해 프롬프트에 주요 금융 용어의 정의를 덧

붙여 봅니다. 성능이 조금 나아지는 듯하지만, 곧 원하는 수준에 도달하려면

CPA

시험 전체 범위의 교육 내

용을 이 작은 컨텍스트 윈도 안에 다 넣어야겠다는 생각이 들게 됩니다.

바로 이런 상황에서 파인 튜닝이 필요합니다. 입력

-

출력 쌍으로 구성된 데이터셋을 제공하면 모델은 이 매

핑 관계를 학습하면서 내부 가중치를 업데이트하게 됩니다. 이렇게 하면 단순한 인컨텍스트 학습만으로는

해결할 수 없는 작업들도 가능해집니다. 위에서 언급한 두 가지 작업 모두에서 모델을 파인 튜닝하면 성능이

크게 향상됩니다.

하지만 파인 튜닝이 항상 적절한 것은 아닙니다. 만약 언어 ...