Spark : Le guide définitif

Chapitre 5. Opérations structurées de base

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Au chapitre 4, nous avons présenté sur les abstractions de base de l'API structurée. Ce chapitre s'éloigne des concepts architecturaux pour s'intéresser aux outils tactiques que tu utiliseras pour manipuler les DataFrames et les données qu'ils contiennent. Ce chapitre se concentre exclusivement sur les opérations fondamentales des DataFrames et évite les agrégations, les fonctions de fenêtre et les jointures. Ces opérations sont abordées dans les chapitres suivants.

Par définition, un DataFrame se compose d'une série d'enregistrements (comme les lignes d'un tableau), qui sont de type Row, et d'un certain nombre de colonnes (comme les colonnes d'un tableur) qui représentent une expression de calcul qui peut être effectuée sur chaque enregistrement individuel de l'ensemble de données. Les schémas définissent le nom ainsi que le type de données de chaque colonne. Le partitionnement du DataFrame définit la distribution physique du DataFrame ou du Dataset dans le cluster. Le schéma de partitionnement de définit la façon dont cela est réparti. Tu peux le définir en fonction des valeurs d'une certaine colonne ou de façon non déterministe.

Créons un DataFrame avec lequel nous pourrons travailler :

// in Scala
val df = spark.read.format("json")
  .load("/data/flight-data/json/2015-summary.json")

# in Python
df = spark ...