仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

2

logH p p x p x=-

] ] ]g g g

!

ここで、

p ( x )

は事象

x

が発生する確率です。エントロピーが高いほど、事象の発生が予測

しづらく、情報の不確実性が大きいことを意味します。例えば、サイコロの目が全て等確率

（1/6）である場合、出る目の予測が最も難しくなるためエントロピーは最大になります。直感

的には、その確率分布全体がどれくらい意外な事象を多く含んでいるかを表す指標がエントロ

ピーと考えてもよいでしょう。

交差エントロピー

交差エントロピーとは、二つの確率分布

p

と

q

の間の違いを表す指標です。交差エントロ

ピーが小さいほど、二つの確率分布が似ていることを示します。交差エントロピー

H ( p , q )

は、予測した確率分布

q

の情報量（その事象がどれほど予想しにくいかという意外度）を実際

の確率分布

p

で平均したもの（期待値）です。式で表すと次のようになります。

, logH p q p x q x=-

] ] ]g g g

!

p ( x )

と

q ( x )

は、それぞれ事象

x

の確率ですから、それぞれ0 から1 の値を取ります。また、

log q ( x )

の範囲は、-

3

から0 までとなります。直感的に、よく起こる事象の意外度が低く、

あまり起こらない事象の意外度が高いほど交差エントロピーは小さくなると理解してもよいで

しょう。

図2.2.1 に、

-p ( x )

log

q ( x )

のグラフを示します。このグラフは3軸で、

p ( x )

と

q ( x )

がそ

れぞれの確率分布の値を表し、