Machine Learning avec Scikit-Learn

7.5 Boosting

195

© Dunod – Toute reproduction non autorisée est un délit.

7.5.2 Boosting de gradient

L’algorithme de boosting de gradient (en anglais, gradient boosting)

105

gure aussi parmi

les méthodes de boosting très appréciées. Tout comme AdaBoost, le boosting de

gradient travaille par ajout séquentiel de prédicteurs à un ensemble, chacun d’eux

corrigeant son prédécesseur. Cependant, au lieu de modier légèrement les poids

des observations à chaque itération comme le fait AdaBoost, cette méthode tente

d’ajuster un nouveau prédicteur aux erreurs résiduelles du prédicteur précédent.

Voyons un exemple simple de régression utilisant des arbres ...