에이전트 시대의 AI 시스템 설계

277

5

장

모델 능력 확장

모델 능력 확장

CHAPTER

5

LLM

은 방대한 데이터에서 패턴을 인식하는 일에 탁월하다. 그저 다음 토큰을 통계적으로 예측

하는 것일 뿐임에도 일관되고 문맥에 적합한 응답을 생성해 낸다. 그렇다고 모델이 바탕에 깔

린 개념을 진정으로 이해하는 것은 아니다. 기초 모델

foundation

model

의 훈련 과정에서 충분히 다

루지 않은 작업은 제대로 수행되지 않을 수 있다. 이번 장에서는 훈련받지 않은 작업을 기초 모

델에 가르치기 위해 사용할 수 있는 네 가지 패턴을 다룬다.

5.1

LLM

추론의 한계

기초 모델이 기호와 단어를 잘 다루는 것은 사실이다. 하지만 이는 모델이 인간처럼 기호들의

의미와 논리적 관계를 파악하기 때문이 아니라, 그저 훈련 데이터에서 접한 조작 방식을 일반

화했기 때문일 수 있다. 우리가 기초 모델로 여러 가지 작업을 수행할 수 있는 이유는 그 작업

들이 기초 모델이 애초에 훈련받은 작업들과 유사하기 때문이다.

기초 모델이 잘 수행하지 못하는 작업을 설명하기란 어렵다. 그런 작업은 대체로 특정 업계에

특화된 생소하고 난해한 작업이라서 독자나 저자 같은 일반인이 이해하기 어렵다.

LLM

의 훈련

데이터에 잘 포착되지 않는 작업으로는 뮤추얼 펀드 투자 위원회에 보낼 메모를 작성하거나 기

업 내부 사건을 조사해서 판결하는 ...