戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

134

5 章　オーバーフィッティングとその回避方法

うかが事前にわかる一般的な分析方法はありません。この例では、母集団がどのようなもの

かを定義していたので、モデルがオーバーフィットすると断言できました。しかし実際はそ

んな情報を持っているわけではないので、ホールドアウトセットを使ってオーバーフィット

するかを判別する必要があるのです。

5.6

 ホールドアウト評価から交差検証へ

オーバーフィッティングを避けるために広く使われている汎用的な手法については後ほど

ご紹介することにしましょう。これは属性の選択やツリーの複雑性のコントロール、またそ

れ以外にも適用できる方法です。しかしまず先に、ホールドアウト評価についてより詳しく

見ていきましょう。オーバーフィッティングを避けるためには、まずオーバーフィッティン

グにだまされないようにならないといけません。この章の冒頭で、モデルの汎化性能を正し

く評価するためには、ホールドアウトデータの精度を調べるのがよいということを述べまし

た。ホールドアウトデータとは目的変数の値がわかっているけれども、モデル構築時には使

わなかったデータのことです。ホールドアウトテストは「実験室」内での他の評価と似てい

ます。

ホールドアウトセットは、確かに汎化性能を推定してはくれますが、あくまで

1

回の推定

にすぎません。モデルの精度を

1

回推定したからといってそれを全面的に信用してよいもの

でしょうか。トレーニングデータやテストデータをたまたまうまく（もしくは悪く）選んだ

結果というだけかもしれません。そうしたデータの量について細かく信頼区間を計算すると ...