
4.2 Descente de gradient
113
© Dunod – Toute reproduction non autorisée est un délit.
L’équation normale et l’approche SVD deviennent toutes deux très
lentes lorsque le nombre de caractéristiques devient grand (p. ex.
100 000). En revanche, les deux sont linéaires vis-à-vis du nombre d’ob-
servations dans le jeu d’entraînement (algorithmes en O(m)), donc elles
peuvent bien gérer un gros volume de données, à condition qu’il tienne
en mémoire.
Par ailleurs, une fois votre modèle de régression linéaire entraîné (en utilisant
l’équation normale ou n’importe quel autre algorithme), obtenir une prédiction
est extrêmement rapide: la complexité de l’algorithme ...