Analyse avancée avec PySpark

Chapitre 11. Gérer lecycle de vie de l'apprentissage automatiqueavec MLflow

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Alors que l'apprentissage automatique gagne en importance dans tous les secteurs et est déployé dans des environnements de production, le niveau de collaboration et de complexité qui l'entoure a également augmenté. Heureusement, des plateformes et des outils sont apparus pour aider à gérer le cycle de vie de l'apprentissage automatique de manière structurée. L'une de ces plateformes qui fonctionne bien avec PySpark est MLflow. Dans ce chapitre, nous allons montrer comment MLflow peut être utilisé avec PySpark. En cours de route, nous présenterons les pratiques clés que tu peux intégrer dans ton flux de travail en science des données.

Plutôt que de repartir de zéro, nous nous appuierons sur le travail que nous avons effectué au chapitre 4. Nous allons revoir notre implémentation de l'arbre de décision en utilisant l'ensemble de données Covtype. Seulement cette fois, nous utiliserons MLflow pour gérer le cycle de vie de l'apprentissage automatique.

Nous commencerons par expliquer les défis et les processus qui englobent le cycle de vie de l'apprentissage automatique. Nous présenterons ensuite MLflow et ses composants, et nous couvrirons la prise en charge de PySpark par MLflow. Cela sera suivi d'une introduction au suivi des formations d'apprentissage automatique à l'aide de ...