データサイエンス設計マニュアル

11.2 決定木分類器 331

クラス1

クラス2

真 偽

クラス1 クラス2 クラス1クラス2

図 11 -4 線

形分類器は、排他的論理和関数に合わせられない。左側は xy 空間に現れる 4 つの自然なクラス

タを示している。これを見ると、ロジスティック回帰では意味のある境界線が決して見つからな

いことがわかる。しかし、決定木ならごく小さなもので XOR を認識できる（右）

決定木を構築する上で、各階層で可能な限り情報利得を追求する方法では、XOR のような問題には太刀

打ちできない。難しい問題では、より高度で計算コストの高い木の構築手法が求められる。それは、コン

ピュータチェスのプログラムのように、p という手の価値をすぐに評価するのではなく、数手先がどうなる

かを先読みするような方法である。

11.2.3 決定木のアンサンブル

任意の訓練データ S からは膨大な数の決定木を作ることができる。さらに、どの決定木でも、すべての

リーフから不純度を取り除いていけば、すべての訓練セットを完全に分類できるようになる。そこで、数

百、数千種の決定木を作り、それぞれの決定木で与えられた点 q を評価すれば、正しい可能性があるラベル

が返されるはずだ。個々の決定木に独立した形でそれぞれの判断を投票させれば、最も票数の多いものが正

しいラベルだという自信が得られる。

この方法が集団思考に陥らないようにするためには、多様性のある木を作る必要がある。最良の木構造を

探す決定論的な構築手順を繰り返し使っても、結果はいずれも同じになってしまうので意味がない。個々の ...