핸즈온 LLM

442

3부 언어 모델 훈련 및 미세 튜닝

프롬프트 거부된 생성

참조 모델

(동결)

훈련 가능한 모델

(선호도 튜닝 가능)

토큰 확률 계산

(모델마다 계산)

거부 점수는 토큰 확률을

집계한 것입니다

거부 점수 차이를 계산합니다

그림

12-33

토큰 수준에서 생성 텍스트의 확률로 점수를 계산하여 참조 모델과 훈련 가능 모델 사이의 확률 차이를 최

적화합니다. 승인된 생성도 동일한 과정을 따릅니다.

이 점수를 사용해 승인된 생성을 만드는 데 더 확신하고 거부된 생성을 만드는 데 덜 확신하도

록 훈련 가능 모델의 파라미터를 최적화할 수 있습니다. 논문 저자들은

PPO

에 비해

DPO

가

훈련 과정에서 더 안정적이고 정확함을 밝혔습니다.

DPO

가 안정적이므로 이를 사용해 인스

트럭션 튜닝된 모델을 선호도 튜닝하는 데 사용하겠습니다.

12.7

DPO

를 사용한 선호도 튜닝

허깅 페이스 도구를 사용하면 선호도 튜닝은 약간의 차이가 있을 뿐 앞서 다룬 지시 기반 튜닝

과 매우 비슷합니다. 여기서도

TinyLlama

를 사용하겠지만 지시 기반으로 튜닝된 버전을 사용

하겠습니다 (

https

://

oreil

.

ly

/

bkVF1

). 이 모델은 완전한 미세 튜닝을 적용한 후

DPO

로 추

가적으로 정렬한 모델입니다. 앞서 지시 기반으로 튜닝한 모델에 비해 이

LLM

은 훨씬 큰 데이

터셋에서 훈련되었습니다.

이 절에서 ...