Systèmes de production à apprentissage automatique

Chapitre 18. Orchestrer les pipelines d'apprentissage automatique

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans le chapitre 1, nous avons présenté les pipelines ML et expliqué pourquoi nous en avons besoin pour produire des modèles ML reproductibles et répétables. Dans les chapitres qui ont suivi, nous avons plongé en profondeur dans les différents aspects des pipelines ML, depuis l'ingestion des données, la validation des données, l'entraînement des modèles et l'évaluation des modèles, jusqu'aux déploiements des modèles. Il est maintenant temps de boucler la boucle et de se concentrer sur la façon d'assembler les composants individuels dans des pipelines de production.

Tous les composants d'un pipeline ML décrits dans les chapitres précédents doivent être exécutés de manière coordonnée ou, comme nous le disons, orchestrée. Les entrées d'un composant doivent être calculées avant qu'un composant donné ne soit exécuté. L'orchestration de ces étapes est réalisée par des outils d'orchestration tels qu'Apache Beam ou Kubeflow Pipelines, ou sur Vertex Pipelines de Google Cloud.

Dans ce chapitre, nous nous concentrons sur l'orchestration des composants ML, en présentant différents outils d'orchestration et en expliquant comment choisir le meilleur outil pour ton projet.

Introduction à l'orchestration des pipelines

L'orchestration de pipeline est la "colle" entre les composants de ton pipeline, ...