
170
■
11
章 機械学習
モデルが学習用データにより過学習に陥らないとして、「テスト用データで最も良い成
績をあげたモデルを選択する」というのは単にテスト用データを第二の学習用データと
して使った学習であるに過ぎないからです(テスト用データで良い成績をあげるモデル
は、テスト用データに最も良くあてはまるモデルです)。
この状況に対応するには、モデルを構築するための学習用データ、学習済みモデル
からモデルを
1
つ選択するための検証用データ、そして選択したモデルの良し悪しを
判断するためのテスト用データの
3
つに分割します。
11.4
正確さ
データサイエンスの世界に踏み込む前、筆者は医療の世界に関わっていました。そ
して余暇の際に新生児が今後白血病を発症する可能性があるかを(
98 %
以上の正確さ
で)予測する安価で体を傷つけない検査方法を思い付いていました。筆者の弁護士が、
この検査方法には特許性がないことを納得させてくれたので、その詳細をここで公開
します。実は、新生児の名前が
Luke
(ルーク、発音が「ルーケミア:
leukemia
̶白血病」
に似ている)である場合に、白血病を発症する可能性があります。
これから説明するように、この検査方法は実際に
98 %
以上の正確性があります。そ
れにもかかわらず、これはあまりにも馬鹿らしい検査方法であり、(二項分類)モデル
の良し悪しを測るのにあえて「正解率」を使わない具体的な事例にもなっています。
二者選択を行うモデルの構築を考えてみましょう。このメールはスパムか否か、こ ...