ゼロからはじめるデータサイエンス 第2版 ―Pythonで学ぶ基本と実践

17.2

 平均情報量（エントロピー）

■

235

化 の た め に 、「 こ の 候 補 者 を 採 用 す べ き か 否 か 」、「

Web

サイト閲覧者に見せるべき広告

は

A

か

B

か」、「オフィスの冷蔵庫の残り物を食べると、体調を崩すだろうか？」といっ

た二択の問題のみを扱うことにします。

17.2

 平均情報量（エントロピー）

決定木を構築するためには、どのような質問をどの順番で行うか決める必要があり

ます。決定木の各階層で排除できる可能性とできない可能性が存在します。例えば、

ある動物が

5

本以上の足を持たないことがわかった後では、それがバッタである可能

性を排除できますが、アヒルである可能性は排除できません。それぞれの質問は、そ

の回答に従って残りの可能性を分割します。

決定木が予測する事柄に対して、できるだけ多くの情報をもたらすような質問を行

うのが理想的です。

Yes/No

で回答する質問があったとして、

Yes

が常に真を表し、

No

が常に偽を表すのであれば（または、その逆）、それは採用すべきすばらしい質問です。

一方、

Yes

か

No

のどちらが回答されても新しい情報をもたらさないのであれば、それ

はおそらく良い質問ではありません。

この「どれだけ情報をもたらすか」という考え方を平均情報量（エントロピー）で 表 し

ます。エントロピーは無秩序を意味する言葉としてすでに聞き覚えがあるかもしれま

せんが、ここではデータに関連した不確かさを表現するために使用します。

データの集合

S

があり、その各要素には有限個の分類