PythonによるAIプログラミング入門 ―ディープラーニングを始める前に身につけておくべき15の基礎技術

3章アンサンブル学習を用いた予測分析

本章では、アンサンブル学習と、それを用いた予測分析について説明します。本章を通じて、次のような事柄を学びます。

• アンサンブル学習を用いた学習モデルの構築
• 決定木と分類器の作り方
• ランダムフォレストと、Extremely Randomized Trees（ERT）と、これらを使った分類器の作り方
• 予測の確信度の推定
• クラス不均衡の扱い方
• グリッドサーチを使った最適な訓練パラメータの発見法
• 特徴量の相対重要度
• ERT回帰モデルを使った交通量予測

3.1　アンサンブル学習とは？

アンサンブル学習（ensemble learning）とは、複数のモデルを組み合わせることによって、個々のモデルよりも良い結果を得られるようにする手法です。個々のモデルは、分類モデルや回帰モデルなど、データをモデル化するものならなんでもかまいません。アンサンブル学習は、データ分類、予測モデル、異常検知など幅広い分野で使われています。

そもそも、なぜアンサンブル学習が必要なのでしょうか？ 実生活の例を用いて説明します。新しいテレビを買いたいのですが、最新モデルのことはよくわからないとします。最もお買い得なテレビを見つけることが目標ですが、判断するのに十分な知識を持ち合わせていません。このような状況では、その分野の専門家の何人かに意見を聞いて回ります。そうすればベストな判断に役立つでしょう。

多くの場合、ひとつの意見だけに頼らずに、複数の意見を組み合わせて最終判断をします。間違った判断や準最適な判断を下してしまう可能性を減らしたいからです。

3.1.1　アンサンブル学習

モデルを選択する場合に最も一般的な手順は、教師データに対して誤差が最小になるものを選ぶことです。しかし、常にうまくいくわけではありません。モデルが教師データに過剰適合したり、偏りが生じたりするかもしれません。交差検証を用いてモデルを計算しても、未知のデータをうまく処理できないことがあります。 ...