Chapitre 12. Composants et paquetsSpark
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Spark comporte de nombreux composants conçus pour fonctionner ensemble comme un système intégré, et beaucoup d’entre eux sont distribués dans le cadre de Spark. Cela diffère de la plupart des autres éléments de l’écosystème Hadoop, qui comporte des projets ou des systèmes différents pour chaque tâche. Tu as déjà vu comment utiliser efficacement les composants Spark Core, SQL, Streaming et ML. Ce chapitre se penchera sur les projets extérieurs à Spark lui-même, parfois appelés composants externes/communautaires (souvent appelés paquets). Le fait de disposer d’un système largement intégré confère deux avantages à Spark : cela simplifie le déploiement, la gestion des clusters, les mises à jour et le développement d’applications, car il y a moins de dépendances et de systèmes à suivre.
Bien que Spark soit relativement intégré, il arrive parfois que l’intégration de composants externes vaille largement la peine malgré la complexité accrue. Dans ce chapitre, on t’aidera à développer un cadre pour évaluer les compromis liés à l’intégration de composants externes ou tiers dans ton package Spark. On partagera également certains de nos points de vue sur les packages internes de Spark, car ils ne sont pas tous maintenus de la même manière.
Même les premières versions de Spark fournissaient des outils qui, traditionnellement, ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access