データサイエンス設計マニュアル

264 9 章 線形回帰とロジスティック回帰

約 t を設け、最適化公式はこの制約のもとで誤差の 2 乗の総和を最小化する。

J(w,

t) =

1

2n

n

X

i=1

(y

i

− f(x

i

))

2

ただし

m

X

j=1

|w

j

| ≦ t

t の値を小さくすると Lasso の制約は厳しくなり、係数 w の大きさをさらに小さくしようとする。

Lasso が小

さな係数を取り除く具体例を見てみよう。t として特定の値を設定したときのタクシー運転手

へのチップモデルは次のようになった。

変数

線形回帰係数 Lasso

割り込み 0.08370835 0.079601141

乗車時間

0.00000035 0.00000035

乗車距離

0.00000004 0.00000004

料金

0.17503086 0.17804921

通行料

0.06267343 0.00000000

追加料金

0.01924337 0.00000000

週末

–0.02823731 0.00000000

平日

0.06977724 0.00000000

ラッシュアワー

0.01281997 0.00000000

深夜

0.04967453 0.00000000

乗客数

–0.00657358 0.00000000

Lasso 回

帰は大半の係数を 0 にして変数を取り除いている。その結果、より単純で頑健なモデルを作成で

きた。このモデルは、制約のない線形回帰とほぼ同程度にデータにフィットする。

しかし、Lasso 回帰はなぜ積極的に係数を 0 にしていくのだろうか。それは、L

1

指標が描くサ ...