
1.9 Modèles linéaires régularisés
35
© Dunod – Toute reproduction non autorisée est un délit.
pénalité ℓ
1
lasso
1. 5
1. 0
0.5
0.0
q
2
– 0.5
–
1. 0
–
1. 5
pénalité ℓ
2
ridge
1. 5
1. 0
0.5
0.0
q
2
q
1
– 0.5
–
1. 0
–
1. 5
– 1. 0– 0.50.0 0.51.0 1. 52.0 2.53.0
q
1
– 1. 0– 0.50.0 0.51.0 1. 52.0 2.5 3.0
Figure 1.22– Régularisation de régressions lasso et ridge
Les deux graphiques du bas illustrent la même chose mais cette fois pour une
pénalité ℓ
2
. Sur le graphique en bas à gauche, vous pouvez remarquer que la perte ℓ
2
diminue avec la distance à l’origine, c’est pourquoi la descente de gradient progresse
directement vers ce point. Sur le graphique en bas à droite, les courbes de niveau ...