戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

144

5 章　オーバーフィッティングとその回避方法

ことです。

データを用いながら複雑性を実験的に選択していき、そこからモデルを構築していくとい

う考え方は、多種多様のアルゴリズムや複雑性に対して適用できます。例えば、複雑性は特

徴セットのサイズに合わせて増大するので、特徴セットは間引いて数を減らすのが望ましい

という話を前に述べました。そのための方法としては、異なる特徴セットをいろいろ使って

実験を行い、その中で入れ子のホールドアウトを使いながら最適なセットを選ぶ、というや

り方が一般的です。

例えば、特徴の逐次前進選択（

sequential forward selection

：

SFS

）と呼ばれる手法では、

入れ子のホールドアウトを使って以下のような処理を行います。まず特徴を

1

つだけ使って

作られたモデルをすべて調べていくことで、最も重要な特徴を抽出します。第

1

の特徴を選

んだあと、この特徴にさらに

2

番目の特徴を加えたモデルをすべてテストします。それによ

りベストな特徴の組み合わせが決まります。そして同じ手順を

3

番目、

4

番目というように

繰り返します。そして特徴を追加しても検証データに対する分類精度が上がらなくなった時

点で、

SFS

の処理を終了する、というものです（似たやり方として逐次後退消去（

sequential

backward elimination

）という手法もあります。ご想像の通り、すべての特徴からスタート

して、

1

つずつ特徴を減らしていくやり方です。こちらは性能の劣化が起きない限り特徴を

捨て続けていきます） ...