仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

2

J

(

z

)=

E

(x, y)~D

r

[r

i

(

x , y

)-

bD

KL

(

r

z

(

y | x

)

||r

SFT

(

y | x

))

]

ここで、

D

r

は方策

r

z

によって生成されたデータの分布、

x

はプロンプト、

y

は生成された

テキスト、

r

i

は報酬モデル、

r

z

は現在の言語モデル（方策）、

r

SFT

は指示学習済み（教師あり

学習済み）モデル（Supervised Fine-Tuned）、

b

はKL ダイバージェンスの重み付けパラメー

タ、

D

KL

はKL ダイバージェンス（二つの確率分布間の差異を測る指標）です。

この目的関数は二つの項から構成されています。報酬項は報酬モデルのスコアであり、これ

を最大化することで人間の好みにより適合した出力が得られるようになります。正則化項は以

降に示すKL ダイバージェンスを構成要素とします。正則化項は報酬モデルのスコアを最大化

しつつも元の教師あり学習済みモデルとの乖離が大きくなることを防ぐ役割を持ちます。

KLダイバージェンス

KL（Kullback-Leibler）ダイバージェンスは、二つの確率分布の違いを測る指標です。その

名前は、Solomon Kullback とRichard Leibler という二人の統計学者に由来します。KL ダイ

バージェンス

D

KL

(

P || Q

)は、2.2.3 でも説明した交差エントロピーと情報量の差として定義さ

れます。

,

lo

g l

og

log log

log

D P Q H P Q H P

P x Q x P x P x

P x P x P x Q x

P x

Q