データサイエンス設計マニュアル

286 10 章 ネットワーク分析と距離

不確

実性を裏返せば情報になる。エントロピー H(P ) は、P の標本が 1 つ明らかになったときにどのく

らいの情報が学べるかに対応している。

確率分布の標準的な距離は、エントロピーと情報理論に基づくものである。カルバック・ライブラー情報

量（Kullback-Leibler divergence、KL 情報量）は、分布 P を Q に置き換えたときに増える不確実性、すな

わち減る情報量を示す。具体的には、次の式で表すことができる。

KL(P || Q) =

d

X

i=1

p

i

log

2

p

i

q

i

P = Q とす

ると、得るものも失われるものもないはずであり、log

2

(1) = 0 なので、KL(P || P ) = 0 と

なる。しかし、Q が P よりも情報量が低ければ低いほど、KL(P || Q) は大きくなり、p

i

> q

i

= 0 のとき

には ∞ になってしまう。

KL 情報量は距離と似たものに見えるが、KL(P || Q) ̸= KL(Q || P ) で対称性がなく、三角不等式も満

たさないので、ノルムではない。しかし、ジェンセン・シャノン情報量（Jensen-Shannon divergence、JS 情

報量）、JS(P, Q) の基礎となっている。

JS(P, Q) =

1

2

KL(P || M) +

1

2

KL(Q || M)

ここで、分布 M は P と Q の平均、つまり m

i

= (p

i

+ q

i

)

/2 である。

JS(P, Q) は明らかに対称性を持ち、