핸즈온 LLM

447

12

장

생성 모델 미세 튜닝하기

SFT

+

DPO

조합은 모델이 기본적인 채팅을 수행하도록 먼저 미세 튜닝을 하고 그다음에 사람

의 선호도에 맞춰 답변하도록 정렬하는 훌륭한 방법입니다. 하지만 두 번의 훈련 루프를 실행

하고 잠재적으로 두 번에 걸쳐 파라미터를 수정해야 하는 비용이 발생합니다.

DPO

가 등장한 후로 선호도 정렬에 대한 새로운 기법들이 개발되었습니다. 주목할 것은

SFT

와

DPO

를 한 번의 훈련 과정으로 결합한

ORPO

Odds

Ratio

Preference

Optimization

37

입니다. 두 개의 훈

련 루프를 없애 훈련 과정을 단순화하면서

QLoRA

를 사용할 수 있습니다.

12.8

요약

사전 훈련된

LLM

을 미세 튜닝하는 여러 단계를 살펴보았습니다.

LoRA

기법을 통해

PEFT

를

사용해 미세 튜닝을 수행했습니다. 모델과 어댑터의 파라미터에 필요한 메모리 제약을 줄이는

기법인 양자화로

LoRA

를 확장하는 방법을 설명했습니다.

여기서 살펴본 미세 튜닝은 두 단계로 구성됩니다. 첫 번째 단계에서는 사전 훈련된

LLM

에서

지시 데이터로 지도 학습 미세 튜닝을 수행했습니다. 이를 지시 기반 튜닝이라 부릅니다. 채팅

형태의 동작을 수행하면서 지시를 잘 따르는 모델을 만듭니다.

두 번째 단계에서는 정렬 데이터에서 미세 튜닝하여 모델을 더 향상시켰습니다. ...