実践 機械学習システム

7.3

 

P

が

N

より大きい場合

151

で、“改悪”されたということになります。

訓練誤差と汎化誤差

特徴量の数がサンプルデータの数を上回ると、最小二乗法では常に訓練誤差が

0

になりま

す。しかし、それはそのモデルが高い汎化能力を持つということを意味しません。実際、訓練

誤差は

0

になりますが、全く使えないモデルであることがほとんどです。

この過学習への対応策としてよく取られる方法が「正則化」です。elastic netを用いて罰則パラメー

タ（λ）を1として交差検定を行った場合、RMSEは0.4になります。これは常に平均値を予測結果と

する場合よりも良い結果です。現実の問題では、ほとんどの場合、完璧な予測を行うことは不可能で

す。そのため、精度の限界を見極めることは困難であると言えます。

7.3.2

　ハイパラメータの賢い設定方法

先ほどの例では、罰則パラメータを

1

に設定しました。もちろん、それは

2

に設定することもできま

す（

0.5

や

200

、

2000000

にも設定できます）。そして、設定した値に応じて、結果も異なることにな

ります。もし大きい値を設定した場合、それは未学習の可能性が高くなります。極端な場合として、

学習の結果、全ての係数が0になります。また、極端に小さい値を設定した場合、それは過学習であ

り、最小二乗法に近づくことになります。過学習の状態では汎化能力が低くなります。

それでは最適なパラメータをどのように選択すべきでしょうか？ 最適なパラメータを設定する問題

は、機械学習でよく遭遇する問題です。一般的な ...