実践 機械学習システム

7.2

 罰則付き回帰

147

7.2.1

　

L1

、

L2

罰則項

回帰で用いる罰則項（または正則化項と言います）として、L1罰則項、L2罰則項があります。L1罰

則項は係数の絶対値の和を、L2罰則項は係数の二乗和を用います。

それでは、数式を使って説明を進めたいと思います。最小二乗法による最適化を行う式は次のよう

になります。

この式では、目標変数であるyと二乗距離が最小となるようなベクトルbを見つけます。L1罰則項を

追加すると、上の式の代わりに次の式を最適化することになります。

ここでは、誤差を小さくすると同時に係数（絶対値の項）も小さくします。L2罰則項を用いた場合、

次の式になります。

違いはわずかです。係数の絶対値ではなく、二乗を罰則として用います。しかし、結果は大きく異

なります。

Lasso、Ridge、Elastic net

これらの罰則項を追加するモデルには（より興味深い）名前が付けられています。

L1

罰則項

は「

Lasso

回帰」、

L2

罰則項は「

Ridge

回帰」と呼ばれることがあります。もちろん、この二

つを合わせることもでき、それは「

Elastic net

」と呼ばれます。

Lasso回帰とRidge回帰の両方とも、罰則項を用いない場合の回帰に比べて、係数の値はより小さく

なります。しかし、Lasso回帰はさらに、より多くの係数が0になるという性質を持ちます。つまり、

最終的なモデルは入力された特徴量の中でいくつかの要素を使用しない、ということになります。こ

れは望まれる性質と言えるでしょう。なぜなら、