Chapitre 4. Nouveautés de Spark 4.2 par rapport à la version 2.4
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Spark a considérablement évolué depuis la version 2.4, et on pourrait remplir tout un livre rien qu'avec les problèmes résolus. Dans ce chapitre, tu découvriras les changements les plus importants liés aux performances qui ont eu lieu dans Spark, ainsi qu'un aperçu de certaines propositions actuelles visant à apporter des changements majeurs dans les années à venir.
Pour tirer parti de certains de ces changements, il suffit parfois simplement de passer à la dernière version de Spark. D’autres changements nécessitent de modifier non seulement Spark, mais aussi d’autres composants de ton écosystème, comme Iceberg ou Delta Lake. Bien sûr, certaines des améliorations les plus importantes prennent la forme de nouvelles fonctionnalités, que tu peux utiliser soit pour supprimer ton propre code, soit pour accélérer les outils existants.
Mais tout n’est pas rose : certaines fonctionnalités sont supprimées ou ne sont plus maintenues. Bien que Spark dispose d’une suite de tests assez complète, ce qui rend peu probable la défaillance des composants moins bien entretenus, les performances peuvent se dégrader d’une version à l’autre, car tous les composants ne font pas l’objet de tests de performance.
La mauvaise nouvelle : GraphX
On a décidé d’aborder le sujet qui fâche : les composants de Spark ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access