book

Apprentissage automatique pratique avec Scikit-Learn et PyTorch

by Aurélien Géron

October 2025

Intermediate to advanced

878 pages

30h 15m

French

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

L'apprentissage automatique dans tes projetsObjectif et approcheExemples de codeConditions préalablesFeuille de routeChangements entre les versions de TensorFlow et de PyTorchAutres ressourcesConventions utilisées dans ce livreApprentissage en ligne O'ReillyComment nous contacterRemerciements
Qu'est-ce que l'apprentissage automatique ?Pourquoi utiliser l'apprentissage automatique ?Exemples d'applicationsTypes de systèmes d'apprentissage automatiqueSupervision de la formationApprentissage par lots ou en ligneApprentissage basé sur l'instance ou sur le modèlePrincipaux défis de l'apprentissage automatiqueQuantité insuffisante de données de formationDonnées de formation non représentativesDonnées de mauvaise qualitéCaractéristiques non pertinentesSurajustement des données d'apprentissageSous-application des données de formationProblèmes de déploiementReculerTest et validationRéglage des hyperparamètres et sélection des modèlesInadéquation des donnéesExercices
Travailler avec des données réellesVoir la situation dans son ensembleCadrer le problèmeChoisir une mesure de performanceVérifier les hypothèsesObtenir les donnéesExécuter les exemples de code à l'aide de Google ColabSauvegarde tes modifications de code et tes donnéesLe pouvoir et le danger de l'interactivitéCode du livre ou code de l'ordinateur portableTélécharger les donnéesJette un coup d'œil rapide à la structure des donnéesCréer une série de testsExplorer et visualiser les données pour en tirer des enseignementsVisualiser des données géographiquesRecherche de corrélationsExpérimenter les combinaisons d'attributsPréparer les données pour les algorithmes d'apprentissage automatiqueNettoyer les donnéesTraitement du texte et des attributs catégorielsMise à l'échelle et transformation des caractéristiquesTransformateurs personnalisésPipelines de transformationSélectionner et former un modèleEntraînement et évaluation sur l'ensemble d'entraînementMeilleure évaluation grâce à la validation croiséeAffiner ton modèleRecherche en grilleRecherche aléatoireMéthodes d'ensembleAnalyser les meilleurs modèles et leurs erreursÉvaluer ton système sur l'ensemble de testLancer, surveiller et entretenir ton systèmeEssaie-le !Exercices
MNISTFormation d'un classificateur binaireMesures de performanceMesurer la précision à l'aide de la validation croiséeMatrices de confusionPrécision et rappelLe compromis précision/rappelLa courbe ROCClassification multi-classeAnalyse des erreursClassification multi-labelClassification multi-sortiesExercices
Régression linéaireL'équation normaleComplexité de calculDescente de gradientDescente de gradient par lotsDescente de gradient stochastiqueDescente de gradient par mini-lotsRégression polynomialeCourbes d'apprentissageModèles linéaires régularisésRégression de crêteRégression LassoRégression par réseau élastiqueArrêt précoceRégression logistiqueEstimation des probabilitésFormation et fonction de coûtLimites de décisionRégression SoftmaxExercices
Formation et visualisation d'un arbre de décisionFaire des prédictionsEstimer les probabilités de classeL'algorithme de formation CARTComplexité informatiqueImpureté ou entropie de Gini ?Hyperparamètres de régularisationRégressionSensibilité à l'orientation des axesLes arbres de décision ont une variance élevéeExercices
Vote des classificateursBagging et PastingBagging et collage dans Scikit-LearnÉvaluation hors sacPatches aléatoires et sous-espaces aléatoiresForêts aléatoiresArbres supplémentairesImportance des caractéristiquesBoostingAdaBoostRenforcement du gradientRenforcement du gradient basé sur l'histogrammeEmpilageExercices
La malédiction de la dimensionnalitéPrincipales approches de réduction de la dimensionnalitéProjectionApprentissage de la base de données (Manifold Learning)ACPPréserver la varianceComposantes principalesProjection en d dimensionsUtilisation de Scikit-LearnRapport de variance expliquéeChoisir le bon nombre de dimensionsL'ACP pour la compressionACP aléatoireACP incrémentaleProjection aléatoireLLEAutres techniques de réduction de la dimensionnalitéExercices
Algorithmes de regroupement : k-means et DBSCANRegroupement k-MeansLimites de k-MeansUtilisation du regroupement pour la segmentation d'imagesUtilisation du regroupement pour l'apprentissage semi-superviséDBSCANAutres algorithmes de regroupementMélanges gaussiensUtilisation de mélanges gaussiens pour la détection d'anomaliesSélection du nombre de grappesModèles bayésiens de mélanges gaussiensAutres algorithmes de détection des anomalies et des nouveautésExercices

Des neurones biologiques aux neurones artificielsNeurones biologiquesCalculs logiques avec les neuronesLe perceptronLe perceptron multicouche et la rétropropagationConstruire et former des MLP avec Scikit-LearnMLP de régressionMLP de classificationDirectives pour le réglage des hyperparamètresNombre de couches cachéesNombre de neurones par couche cachéeTaux d'apprentissageTaille du lotAutres hyperparamètresExercices
Principes de base de PyTorchTenseurs PyTorchAccélération matérielleAutogradMise en œuvre de la régression linéaireRégression linéaire à l'aide de tenseurs et d'AutogradRégression linéaire à l'aide de l'API de haut niveau de PyTorchImplémentation d'un MLP de régressionImplémentation de la descente de gradient par mini-lots à l'aide de DataLoadersÉvaluation du modèleConstruire des modèles non séquentiels à l'aide de modules personnalisésConstruire des modèles avec des entrées multiplesConstruire des modèles avec des sorties multiplesConstruire un classificateur d'images avec PyTorchUtilisation de TorchVision pour charger l'ensemble de donnéesConstruction du classificateurAffiner les hyperparamètres des réseaux neuronaux avec OptunaSauvegarde et chargement des modèles PyTorchCompilation et optimisation d'un modèle PyTorchExercices
Les problèmes de disparition et d'éclatement des dégradésInitialisation de Glorot et initialisation de HeMeilleures fonctions d'activationNormalisation par lotsNormalisation par coucheÉcrêtage du gradientRéutilisation des couches pré-entraînéesApprentissage par transfert avec PyTorchPré-entraînement non superviséPré-entraînement sur une tâche auxiliaireOptimiseurs plus rapidesMomentumGradient accéléré de NesterovAdaGradRMSPropAdamAdaMaxNAdamAdamWProgrammation du taux d'apprentissageOrdonnancement exponentielRecuit CosinusOrdonnancement des performancesRéchauffement du taux d'apprentissageRecuit de Cosinus avec redémarrage à chaudOrdonnancement à 1 cycleÉviter le surajustement grâce à la régularisationRégularisation ℓ1 et ℓ2AbandonAbandon de Monte CarloRégularisation Max-NormDirectives pratiquesExercices
L'architecture du cortex visuelCouches convolutivesFiltresEmpiler plusieurs cartes de caractéristiquesImplémentation de couches convolutives avec PyTorchCouches de mise en communImplémentation des couches de mise en commun avec PyTorchArchitectures CNNLeNet-5AlexNetGoogLeNetResNetXceptionSENetAutres architectures dignes d'intérêtChoisir la bonne architecture CNNExigences en matière de mémoire vive du GPU : Inférence et formationRéseaux résiduels réversibles (RevNets)Implémentation d'un CNN ResNet-34 avec PyTorchUtiliser les modèles pré-entraînés de TorchVisionModèles préformés pour l'apprentissage par transfertClassification et localisationDétection d'objetsRéseaux entièrement convolutifsTu ne regardes qu'une foisSuivi d'objetsSegmentation sémantiqueExercices
Neurones et couches récurrentesCellules de mémoireSéquences d'entrée et de sortieEntraînement des RNNPrévision d'une série temporelleLa famille de modèles ARMAPréparer les données pour les modèles d'apprentissage automatiquePrévision à l'aide d'un modèle linéairePrévision à l'aide d'un RNN simplePrévision à l'aide d'un RNN profondPrévision de séries temporelles multivariéesPrévision plusieurs pas de temps à l'avancePrévision à l'aide d'un modèle séquence à séquenceTraitement des longues séquencesCombattre le problème des gradients instablesS'attaquer au problème de la mémoire à court termeExercices
Génération de textes shakespeariens à l'aide d'un RNN de caractèresCréation de l'ensemble de données de formationEmbeddingsConstruction et entraînement du modèle Char-RNNGénérer un faux texte shakespearienAnalyse de sentiments à l'aide de bibliothèques de visages étreintsTokénisation à l'aide de la bibliothèque de tokenizers Hugging FaceRéutilisation de tokenizers pré-entraînésConstruction et entraînement d'un modèle d'analyse de sentimentRNN bidirectionnelsRéutilisation des emboîtements et des modèles de langage pré-entraînésClasses spécifiques aux tâchesL'API du formateurPipelines de visages étreintsUn réseau encodeur-décodeur pour la traduction automatique neuronaleRecherche de faisceauxMécanismes d'attentionExercices
L'attention est tout ce dont tu as besoin : L'architecture originale des transformateursEncodages positionnelsAttention à plusieurs têtesConstruire le reste du transformateurConstruire un transformateur anglais-espagnolTransformateurs de codage pour la compréhension du langage naturelArchitecture de BERTPré-entraînement du BERTMise au point de l'ORETAutres modèles à encodeur seulTransformateurs à décodeur seulArchitecture GPT-1 et préapprentissage génératifGPT-2 et l'apprentissage à partir de zéroGPT-3, apprentissage en contexte, apprentissage à un coup et apprentissage à quelques coupsUtilisation de GPT-2 pour générer du texteUtilisation de GPT-2 pour répondre à des questionsTéléchargement et exécution d'un modèle encore plus grand : Mistral-7BTransformer un grand modèle linguistique en chatbotMise au point d'un modèle de conversation et de suivi d'instructions à l'aide de SFT et RLHFOptimisation directe des préférences (DPO)Mise au point d'un modèle à l'aide de la bibliothèque TRLD'un modèle de chatbot à un système de chatbot completProtocole de contexte de modèleBibliothèques et outilsModèles codeur-décodeurExercices
Transformateurs de visionRNN avec attention visuelleDETR : un hybride CNN-Transformateur pour la détection d'objetsLe ViT originalTransformateur d'images efficace en termes de donnéesPyramid Vision Transformer pour les tâches de prédiction densesLe transformateur Swin : Un ViT rapide et polyvalentDINO : apprentissage auto-supervisé des représentations visuellesAutres modèles et techniques de vision majeursTransformateurs multimodauxVideoBERT : une variante de BERT pour le texte et la vidéoViLBERT : Un transformateur à double flux pour le texte et l'imageCLIP : Un modèle de texte et d'image à double encodeur entraîné avec un préapprentissage contrastifDALL-E : Génération d'images à partir de prompts textesPerceiver : Faire le lien entre les modalités à haute résolution et les espaces latentsPerceiver IO : Un mécanisme de sortie flexible pour le PerceiverFlamingo : Dialogue visuel ouvertBLIP et BLIP-2Autres modèles multimodauxExercices
Représentations efficaces des donnéesEffectuer une ACP avec un autoencodeur linéaire incompletAutoencodeurs empilésImplémentation d'un autoencodeur empilé à l'aide de PyTorchVisualisation des reconstructionsDétection d'anomalies à l'aide d'autoencodeursVisualisation de l'ensemble de données MNIST sur la modePré-entraînement non supervisé à l'aide d'autoencodeurs empilésLier les poidsEntraînement d'un autoencodeur à la foisAutoencodeurs convolutifsAutoencodeurs de débruitageAutoencodeurs éparsAutoencodeurs variationnelsGénérer des images MNIST de modeAutoencodeurs variationnels discretsRéseaux adversoriels génératifsLes difficultés de la formation des GANModèles de diffusionExercices
Qu'est-ce que l'apprentissage par renforcement ?Gradients de politiqueIntroduction à la bibliothèque du gymnasePolitiques des réseaux neuronauxÉvaluation des actions : Le problème de l'attribution de créditsRésolution du CartPole à l'aide des gradients de politiqueMéthodes basées sur la valeurProcessus de décision de MarkovApprentissage par différence temporelleApprentissage QPolitiques d'explorationApprentissage Q approximatif et apprentissage Q profondImplémentation du Deep LearningAméliorations du DQNAlgorithmes de critique d'acteurMaîtriser Atari Breakout en utilisant l'implémentation PPO de Stable-Baselines3Aperçu de quelques algorithmes populaires d'apprentissage par renforcementExercicesMerci !
Différenciation manuelleApproximation par différences finiesAutodiff en mode avantAutodiff en mode inverse
Représentations des nombres courantsModèles de précision réduiteFormation en précision mixteQuantificationQuantification linéaireQuantification post-entraînement à l'aide de torch.ao.quantizationFormation consciente de la quantification (QAT)Quantification des LLMs à l'aide de la bibliothèque bitsandbytesUtilisation de modèles pré-quantifiés

Content preview from Apprentissage automatique pratique avec Scikit-Learn et PyTorch

Chapitre 5. Arbres de décision

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com

Lesarbres de décision sont des algorithmes d'apprentissage automatique polyvalents qui peuvent effectuer à la fois des tâches de classification et de régression, et même des tâches à sorties multiples. Ce sont des algorithmes puissants, capables de s'adapter à des ensembles de données complexes. Par exemple, au chapitre 2, tu as formé un modèle DecisionTreeRegressor sur l'ensemble de données sur le logement en Californie, en l'adaptant parfaitement (en fait, en le surajoutant).

Les arbres de décision sont également les composants fondamentaux des forêts aléatoires (voir le chapitre 6), qui comptent parmi les algorithmes d'apprentissage automatique les plus puissants disponibles aujourd'hui.

Dans ce chapitre, nous commencerons par examiner comment former, visualiser et faire des prédictions avec les arbres de décision. Nous passerons ensuite en revue l'algorithme de formation CART utilisé par Scikit-Learn, et nous explorerons comment régulariser les arbres et les utiliser pour des tâches de régression. Enfin, nous discuterons de certaines des limites des arbres de décision.

Formation et visualisation d'un arbre de décision

Pour comprendre les arbres de décision, construisons-en un et voyons comment il fait des prédictions. Le code suivant entraîne un DecisionTreeClassifier sur l'ensemble de données de l'iris (voir le ...