에이전트 시대의 AI 시스템 설계

55

1

장

서론

1.6

사후훈련

사후훈련

post

-

training

은 사전훈련된 모델을 새로운 작업이나 도메인에 맞게 커스텀화하기 위해 모

델의 가중치들을 수정하는 여러 방법을 아우르는 용어이다. 모델을 사후훈련한 후에는 다시 배

포해야 하며, 이때 사용하는 종단점

endpoint

은 원래 출발점이었던 기초 모델의 종단점과는 다르

기 마련이다.

1.6.1

여러 가지 사후훈련 방법

[그림

1

-

2

]에서 보았듯이 기초 모델을 훈련하는 과정은 여러 단계로 이루어진다. 첫 단계는

다음 단어 예측을 통해서 기반

LLM

을 훈련하는 것이다. 둘째 단계에서는

SFT

를 이용해 기본

LLM

이 특정 작업을 수행하도록 훈련한다. 셋째 단계에서는

RLHF

를 적용해서 모델을 인간의

기대나 가치관 등에 정렬시킨다. 사후훈련은 이 세 단계 모두에서 가능하다.

사후훈련과 관련해서 여러분이 접할 수 있는 몇 가지 기법을 소개하겠다. 이들이 완전히 별개

의 방법은 아니고, 서로 겹치는 부분이 있음을 유념하기 바란다.

후속 사전훈련

continued

pretraining

(

CPT

)

기존의 기초 모델을 훈련할 때 사용하지 않은 어휘 (업계 전문 용어 등 )나 연관 관계가 포함된 데이터셋이 있다

면, 그 데이터셋으로 기반 모델의 훈련을 계속 이어나갈 수 있다. 이 방법을 사용하려면 기반 모델의 가중치 전체

와 아키텍처에 접근할 수 있어야 한다. 기반 모델의 훈련에는 비용과 시간이 엄청나게 많이 든다는 점을 명심해

야 한다. 게다가 한 단계에서 기반 모델을 다시 훈련한다면 나머지 단계들도 ...