Annexe B. Spark Connect
Spark Connect dissocie une grande partie du pilote de ton application Spark. Spark Connect ne prend pas en charge l'intégralité des API Spark, mais si ton application utilise le sous-ensemble restreint pris en charge par Spark Connect, cela te donne plus de flexibilité pour passer d'un backend à l'autre. Comme Spark Connect dissocie le pilote, tu as également plus de flexibilité quant au langage (et à la version du langage) que tu utilises pour travailler avec Spark.
Avec Spark Connect, une application Spark convertit les opérations DataFrame/Dataset en messages protobuf et les envoie à un serveur Spark Connect distant. Ce serveur distant effectue bon nombre des tâches que le pilote Spark effectue dans la version complète de Spark. Comme le pilote s’exécute déjà séparément, cela peut réduire le temps de démarrage d’une requête Spark, ce qui rend Spark Connect particulièrement bien adapté aux requêtes plus petites (comme l’analyse interactive).
Avertissement
Certaines des fonctionnalités de Spark Connect présentées en ligne, voire dans la documentation Spark, ne sont pas disponibles dans la version open source « vanilla » de Spark et ne sont proposées que par des fournisseurs de logiciels propriétaires.
Si Spark Connect t'offre plus de flexibilité pour passer d'un moteur d'exécution à l'autre, son API limitée le rend peu adapté à de nombreuses applications « hautes performances » où tu souhaites accéder aux composants internes ou exercer un niveau de contrôle ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access