핸즈온 LLM

435

12

장

생성 모델 미세 튜닝하기

12.5

선호도 튜닝/정렬/

RLHF

모델이 지시를 따를 수 있다 해도, 다양한 시나리오에서 기대하는 동작에 맞추는 최종 훈련 단

계를 통해 더 향상시킬 수 있습니다. 예를 들어 ‘

What

is

an

LLM

?’이라고 물었을 때, 부가 설

명 없는 ‘

It

is

a

large

language

model

’이란 답변보다

LLM

의 내부 구조를 설명하는 대답을

선호합니다. 다른 답변보다 특정 답변을 더 선호하는 (사람의) 기호를 어떻게

LLM

의 출력에

주입할 수 있을까요?

[그림

12

-

21

]에서 보듯이

LLM

은 프롬프트를 받고 텍스트를 생성한다는 점을 기억하세요.

입력

프롬프트

1

생성

A

그림

12-21

LLM

은 입력 프롬프트를 받아 텍스트를 생성합니다.

사람 (선호도 평가자)에게 모델의 생성 품질을 평가하도록 요청할 수 있습니다.

4

와 같은 어떤

점수를 할당했다고 가정해 보죠 (그림

12

-

22

).

입력

프롬프트

1

입력

프롬프트

1

생성

A

생성

A

이 프롬프트에 대해 생성된

응답이 얼마나 좋은가요?

선호도 평가

선호도 점수

나쁨

좋음

그림

12-22

선호도 평가자(사람 등)를 사용해 생성 품질을 평가합니다.

[그림

12

-

23

]은 이 점수를 기반으로 모델을 업데이트하는 선호도 튜닝 단계를 보여 줍니다.

•

이 점수가 높다면 이런 종류의 응답을 더