Machine Learning avec Scikit-Learn

4.2 Descente de gradient

119

© Dunod – Toute reproduction non autorisée est un délit.

Taux de convergence

Lorsque la fonction de coût est convexe et que sa pente ne change pas trop brutale-

ment (conditions remplies par la fonction de coût MSE), une descente de gradient ordi-

naire avec un taux d’apprentissage fixé convergera en fin de compte vers la solution

optimale, mais il vous faudra peut-être attendre un peu : en tout état de cause, quelle

que soit la forme de la fonction de coût, il faudra un nombre d’itérations en O(1/

ϵ

)

pour arriver à moins de

ϵ

de l’optimum. Si vous divisez la tolérance par 10 pour obtenir

une solution plus précise, alors ...