Spark haute performance (French Edition), 2nd Edition

Chapitre 7. Transformationsefficaces

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Le plus souvent, les programmes Spark s’appuient sur des RDD et des Datasets. La plupart des programmes Spark utilisant les API RDD consistent à lire des données depuis un stockage stable au format RDD, à effectuer un certain nombre de calculs et de transformations de données sur le RDD, puis à écrire le RDD résultant sur un stockage stable ou à le collecter vers le pilote. Même les opérations sur les Datasets sont en grande partie compilées en transformations RDD. Ainsi, la puissance de Spark réside principalement dans ses transformations : des opérations définies sur des RDD et renvoyant des RDD.

À l'heure actuelle, Spark contient des fonctionnalités spécialisées pour environ une demi-douzaine de types de RDD, chacun avec ses propres propriétés et des dizaines de fonctions de transformation différentes. Dans cette section, nous espérons te donner les outils nécessaires pour réfléchir à la manière dont ta transformation RDD, ou ta série de transformations, sera évaluée. En particulier : quels types de RDD ces transformations renvoient, si la persistance ou la création de points de contrôle des RDD entre les transformations rendra ton calcul plus efficace, et comment une série donnée de transformations pourrait être exécutée de la manière la plus performante possible.

Remarque

Les transformations présentées dans ...