戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

124

5 章　オーバーフィッティングとその回避方法

図

5-2

は前述した、解約顧客の「テーブルモデル」についてのフィッティンググラフを示

しています。これは極端な例でしたから、フィッティンググラフも特殊になっています。繰

り返しになりますが、

x

軸はモデルの複雑性を表します。この場合、テーブル内の行数がそ

れに当たります。

y

軸は誤差率を表しています。テーブルのサイズを大きくしていけば、ト

レーニングセットのデータをより多く記憶しておくことができるので、新しい行が追加され

るたびに学習セットに対する誤差は減っていきます。最終的にトレーニングセットすべてが

入ってしまうほどテーブルのサイズが大きくなれば（

x

軸の

N

の部分）、誤差はそれ以降ゼ

ロとなります。しかし、テスト（ホールドアウト）セットに対する誤差はある値（

b

としま

しょう）からスタートし、減ることはありません。なぜならトレーニングセットとホールド

アウトセットの間に重複するデータがないからです。両者の間に生じた大きなギャップが、

このモデルが丸暗記であることを如実に示しています。

注意：ベースレート（Base rate）

b

は何を表しているのでしょうか。テーブルモデルは、新しい事例については必ず

解約しないと予測するため、解約しなかったケースがみな正解となり、解約した

ケースがみな不正解となります。したがって誤差率は母集団に対する解約したケー

スの割合になります。これがベースレート（基本比率）として知られるもので、常

に多数派となるクラスを選択するような分類器をベースレート分類器と呼びます。 ...