実践 機械学習システム

5.5

 改善案について考える

97

また、1 章では次元数を100にした場合、訓練に用いたデータに対して、とても良く適合できたこと

を見ました（その時点ではテストデータと訓練データを分けることについては考えていませんでした

が）。しかし、それは訓練データに対して過敏に適合しすぎていることもわかりました。別のサンプル

データに対しては全く異なる多項式になることでしょう。これはモデルが複雑すぎるからです。また、

これは過学習（over-fitting）であり、データに対して「バリアンスが大きすぎる」と表現することもで

きます。

上の二つの例は両極端な例であり、ほとんどの機械学習の問題がその間のどこかに最適なモデルが

存在します。理想的には、バイアスとバリアンスを両方とも小さくしたいのですが、残念ながらこの二

つはトレードオフの関係にあります。どちらかを小さくすれば、もう片方が大きくなります。

5.5.2

　バイアスが大きい場合の対処法

バイアスが大きい場合を想定します。その場合、訓練データをいくら追加しても、正解率は改善さ

れないのは明らかです。また、特徴量の数を減らしても改善されないでしょう。本質的な理由はモデ

ルが単純すぎるからです。この場合、行うべきことは、「特徴量を増やす」、「モデルをより複雑なものに

する」、「モデルを変更する」のどれかになります。

5.5.3

　バリアンスが大きい場合の対処法

反対に、バリアンスが大きい場合、つまり、モデルが複雑すぎる場合を想定します。そのような場

合、より多くのデータを集