실무로 통하는 LLM 애플리케이션 설계

172

2

부

LLM 활용하기

더 고도화된 정렬 기술로는 강화 학습

reinforcement

learning

기반 방법들이 있습니다. 예를 들어

인간 피드백 기반 강화 학습(

RLHF

)과

AI

피드백을 통한 강화 학습

reinforcement

learning

from

AI

feedback

(

RLAIF

)이 있습니다.

RLHF

훈련에서는 인간 주석자들이 유용성과 무해성 같은 특정 기준에 따라 후보 출력물을 선

택하거나 순위를 매깁니다. 이러한 주석은 보상 모델

reward

model

을 반복 훈련하는 데 사용되며,

궁극적으로

LLM

이 더 제어 가능해지게 합니다. 예를 들어 사용자의 부적절한 요청에 대해서는

응답을 거부하게 할 수 있습니다.

[그림

5

-

2

]는

RLHF

훈련 과정을 보여줍니다.

프롬프트

데이터셋

초기

LLM

보상 모델

조정된 언어 모델

RL

정책에 기반한

최종 출력

인간 주석자들이 기준에 따라

후보 출력들의 순위를 매김

추론

실행

인간

주석자

여러 후보

출력 생성

그림

5-2

인간 피드백 기반 강화 학습

RLHF

와 기타 정렬 기법들은

8

장에서 자세히 다룰 것입니다. 인간 피드백에 의존해 정렬 훈련

을 하는 대신,

LLM

을 활용해 일련의 원칙 (예: 인종차별적이지 않기, 무례하지 않기)에 대한

준수 여부를 기준으로 출력물 중에서 선택하게 할 수도 있습니다. 이 기법은 ...