Algorithmes de données avec Spark

Chapitre 12. Ingénierie des fonctionnalités dans PySpark

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Ce chapitre traite des modèles de conception permettant de travailler avec les caractéristiques des données - tout attribut mesurable, des prix des voitures aux valeurs des gènes, en passant par le nombre d'hémoglobines ou le niveau d'éducation - lors de la construction de modèles d'apprentissage automatique (également connus sous le nom d'ingénierie des caractéristiques). Ces processus (extraction, transformation et sélection des caractéristiques) sont essentiels pour construire des modèles d'apprentissage automatique efficaces. L'ingénierie des caractéristiques est l'un des sujets les plus importants de l'apprentissage automatique, car le succès ou l'échec d'un modèle pour prédire l'avenir dépend principalement des caractéristiques choisies.

Spark fournit une API d'apprentissage automatique complète pour de nombreux algorithmes bien connus, notamment la régression linéaire, la régression logistique et les arbres de décision. L'objectif de ce chapitre est de présenter les outils et techniques fondamentaux de PySpark que tu peux utiliser pour construire toutes sortes de pipelines d'apprentissage automatique. Le chapitre présente les puissants outils et utilitaires d'apprentissage automatique de Spark et fournit des exemples utilisant l'API de PySpark. Les compétences que tu apprendras ici seront ...