
174
■
11
章 機械学習
N
データポイントによる
9
次多項式のあてはめ
図 11-2 データの追加による、バリアンスの低減
11.6
特徴抽出と特徴選択
前述したように、データに十分な特徴が含まれていなければ、そこから作られるモ
デルは未学習となる傾向があります。多くの特徴が盛り込まれているなら、過学習に
なりがちです。ところで、ここで言う特徴とは何者であり、どこからもたらされるもの
なのでしょう。
特徴とは、モデルに対するあらゆる入力が相当します。
最も単純なケースでは、与えられたデータだけが特徴です。誰かの収入を勤続年数
を元に判断する場合、この勤続年数が唯一の特徴です(しかし、「11.3 過学習と未学
習」で見たように、より良いモデルを作るのに役立つのであれば勤続年数の
2
乗や
3
乗
などを加えることも考慮するかもしれません)。
データが複雑性を増せば、より興味深い状況となります。メールメッセージがスパ
ムであるかどうかを判断するフィルタを作るとしましょう。普通のモデルなら、単なる
テキストであるメールをそのままで判断には使えません。そこで特徴を抽出する必要
があります。
●
メッセージに「ビットコイン」という単語が含まれているか
●
文字
d
が何回使われているか
●
メールがどのドメインから発信されているか