データサイエンス設計マニュアル

9.5 正則化によるモデルの単純化 263

9.5.1 リッジ回帰

正則

化は、目的関数に副次的な項を追加して係数を小さく保つモデルを有利にする。損失関数を一般化

し、訓練データではなく係数の関数となる副次的な項を持たせたと考えればよい。

J(w) =

1

2n

n

X

i=1

(y

i

− f(x

i

))

2

+ λ

m

X

j=1

w

2

j−1

この

式では、モデルで使われている係数の 2 乗の総和に比例してペナルティを与えている。係数を 2 乗し

ているので、符号は無視され、絶対値の大きさだけが意味を持つようになる。定数 λ は、正則化制約の相対

的な強さを調節する。λ が大きければ大きいほど最適化の効果が強くなり、残差が多少大きくても係数を小

さくしようとする。最終的には、訓練セットにオーバーフィッティングさせるくらいなら、結果に対する相

関性がない係数を 0 にした方がよい。

上の損失関数のように、係数の 2 乗の総和をペナルティにするものをリッジ回帰、またはチコノフ正則

化と呼ぶ。上の独立変数がすべて適切に正規化されていて平均が 0 であれば、係数の大きさは目的関数にお

ける係数の価値の尺度になる。

リッジ回帰のパラメータはどのようにして最適化すればよいだろうか。最小二乗公式を拡張したものを使

えばよい。m ×m の「係数の重みペナルティ」行列を Γ とする。話を単純にするために Γ = I（単位行列）

としよう。すると、最小化したい 2 乗の総和損失関数は、次のようになる。

∥Aw − b∥

2

+ λ∥Γ w∥

2

||v|| という記 ...