仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

2.2.3

交差エントロピー損失

教師信号に基づいて次のトークンが正しく予測できているかどうかの評価には、損失関数を

使用します。LLMの事前学習では、主に交差エントロピー損失（Cross-entropy Loss）関数

を使用します。

本節では、以降、基礎となる情報量、エントロピー、交差エントロピーについて説明した

後、交差エントロピー損失関数を紹介します。

情報量

情報量（Information Content）とは、ある事象が発生した際に得られる情報の量を表す指

標です。情報量は、その事象がどれほど予測しにくいか（意外度）を表し、事象が発生する確

率が低いほど大きくなります。

情報量は次の式で表されます。

I ( x )=-log p( x )

ここで、

p ( x )

は事象

x

が発生する確率です。

例として、サイコロの目が2 であるという事象と、サイコロの目が偶数であるという事象を

比べてみましょう。サイコロの目が2 である事象の情報量は、

.log

I

2

6

1

1 7

9

.=-

]

d

g

n

となります。一方、サイコロの目が偶数である事象の情報量は、

.log

I

1

2

0 6

9

偶数 .=-

]

d

g

n

となります。このように、事象の確率が低いほど情報量は大きくなります。

エントロピー

エントロピーとは、確率変数の予測可能性を表す指標で、情報量の期待値として定義されま

す。エントロピーは、確率分布がどの程度不確実性を含んでいるかを表します。エントロピー

は次の式で表されます。

086