Spark : Le guide définitif

Chapitre 32. Spécificités du langage : Python (PySpark) et R (SparkR et sparklyr).

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Ce chapitre abordera certaines des spécificités linguistiques plus nuancées d'Apache Spark. Nous avons vu un très grand nombre d'exemples PySpark tout au long du livre. Au chapitre 1, nous avons discuté à un haut niveau de la façon dont Spark exécute du code provenant d'autres langages. Parlons maintenant de certaines intégrations plus spécifiques :

• PySpark

• SparkR

• sparklyr

Pour rappel, la figure 32-1 présente l'architecture fondamentale de ces langages spécifiques.

Figure 32-1. Le pilote Spark

Maintenant, examinons chacun d'entre eux en profondeur.

PySpark

Nous avons couvert une tonne de PySpark tout au long de ce livre. En fait, PySpark est inclus aux côtés de Scala et de SQL dans presque tous les chapitres de ce livre. Par conséquent, cette section sera courte et douce, couvrant seulement les détails qui sont pertinents pour Spark lui-même. Comme nous l'avons évoqué au chapitre 1, Spark 2.2 a inclus un moyen d'installer PySpark à l'aide de pip. Simplement, pip install pyspark le rendra disponible en tant que paquetage sur ta machine locale. C'est nouveau, donc il peut y avoir quelques bugs à corriger, mais c'est quelque chose que tu peux exploiter dans tes ...