データサイエンス設計マニュアル

11.3 ブースティングとアンサンブル学習 333

正しさ（%）

最

良の重み

項目/投票者

多数派 最良の重み

% % % % % % %

図 11 -5 す

べての分類器が同じ程度に正確でも、1 票の重みを同じにしたのでは、必ずしも最良の分類器

が得られるとは限らない。一部の問題（この場合は D と E）が他の問題よりも難しいからだ。な

お、

∗

は、分類器がその要素を正しく分類したことを示す。

は、2 つのクラスはそれぞれ 0 と 1 である。個々の分類器が出力した 0 または 1 という結果は、実際のクラ

スを予測するための特徴として使える。この方法は、正解との相関性が高い分類器を重視した形の重みが得

られるが、正しい分類の数を明示的に最大化しようとするわけではない。

11.3.2 ブースティングアルゴリズム

第 3 の方法は、ブースティングである。ポイントは、正解するのが難しい事例に高い重みを付け、正解数

だけではなく、正解した事例の重みに基づいて分類器に報酬を与える。

分類器の重みを決めるために、訓練データの重みを調整する。簡単な訓練データとは、ほとんどの分類器

が正しく分類できる訓練データのことである。難しい訓練データを正しく分類できた分類器には、高い報酬

を与える。

代表的なブースティングアルゴリズムは、図 11 -6 に示すアダブーストである。本書では、細部、特に各

回における重み調整の具体的な方法には深入りしない。全体の分類器は、「v

i

≧ t

i

か？」という形式の部品

の非線形分類器、つまり特徴のしきい値による分類器の和として作られるものとする。 ...