Chapitre 9. Au-delàde Scala
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Travailler avec Spark ne signifie pas se limiter à Scala, ni même se limiter à la JVM ou aux langages explicitement pris en charge par Spark. Il existe de nombreuses façons d’utiliser Spark avec différents langages, notamment des systèmes d’appel de procédure à distance comme Spark Connect, des options d’interopérabilité JVM telles que Java Native Interface (JNI), Java Native Access (JNA) ou Java Native Runtime (JNR), ainsi que des wrappers précompilés pour ces derniers (comme PySpark ou SparklyR). Ce chapitre abordera les considérations de performance liées à l'utilisation d'autres langages dans Spark et la manière de travailler efficacement avec les bibliothèques existantes. Tu apprendras les compromis en matière de performance liés à l'utilisation de différents langages et comment tu peux utiliser les accélérateurs Spark courants pour améliorer tes pipelines existants avec un minimum de modifications.
L'interopérabilité linguistique de Spark peut être divisée en deux groupes : le premier concerne le code des workers au sein de tes transformations (par exemple, les Lambda dans tes maps), et le second concerne la possibilité de spécifier les transformations sur les RDD/Datasets (par exemple, le programme driver).
Spark dispose d’API natives, ou d’une prise en charge intégrée des API, pour écrire des programmes pilotes et ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access