戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

148

5 章　オーバーフィッティングとその回避方法

ビジネスアナリストやデータサイエンティストが常に注意すべき統計的現象の例です。何度

もテストを行ってその中からよさそうな結果を拾い出しているようなことがある場合は必ず

注意してください。統計学の本には、統計的な仮説検定を複数回行って、その中の「有意」

な結果だけに注目してはいけない、と書かれているはずです。こうしたやり方は統計的検定

が前提とする仮定に反していることが多いので、結果の実際の有意性についても疑わしいも

のがあります。

　データからモデルを構築する際にオーバーフィッティングに陥る根本的な理由は、本質的

には多重比較の問題なのです［Jensen&Cohen 2000］。オーバーフィッティングを避け

るための方法自体すら、多重比較を行っていることに注意してください（例えば複数の複雑

性を比較して、その中からモデルに対してベストなものを選ぶ、など）。データにフィット

した「最適」モデルを真に得られるような特効薬や魔法の公式といったものはありません。

とはいえ、できる限りオーバーフィッティングを減らすために注意できることはあります。

この章で述べたようなホールドアウトの手法を使い、さらに勝利宣言をする前にできれば結

果を注意深く見直す、といったことです。例えば、フィッティンググラフが本当に逆 U 字

型になっていれば、曲線があちこち飛び跳ねている形状の場合とは違って、その頂点部分が

「ほどよい」複雑性を表しているはずだ、と確信できるでしょう。

5.10