仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

2

RLHF (Reinforcement Learning from

Human Feedback)

2.4

RLHF（Reinforcement Learning from Human Feedback）[Ouyang et al. 2022] は、人間の

フィードバックを活用して言語モデルの振る舞いを最適化するファインチューニング手法です。

RLHFでは、指示チューニングである程度の指示追従能力を獲得したモデルを、さらに改善しま

す。指示チューニングのみでは、人間の選考に正確に反映することには限界があります。これ

は、固定された訓練データセットに基づく学習では、複雑で文脈依存的な人間の好みや、長い対

話の質を完全に捉えることが難しいためです。そこで、RLHFでは、強化学習を用いることで、

報酬モデルを通して人間のフィードバックを取り入れ、モデルの振る舞いを改善します。

2.4.1

強化学習の基本概念

RLHFのベースとなる強化学習の基本概念について簡単に説明します。強化学習

（Reinforcement Learning）とは、エージェントが環境と相互作用しながら、試行錯誤を通

じて最適な行動を学習するプロセスです。

強化学習の主な要素を示します。

⿟

エージェント：学習し、決定を行う主体

⿟

環境：エージェントが相互作用する外部世界

⿟

状態：環境の現在の状況

⿟

行動：エージェントが取ることのできる選択肢

⿟

報酬：エージェントの行動に対するフィードバック

⿟

方策：エージェントの行動選択戦略

強化学習の基本的なステップは次のとおりです。 ...