Spark : Le guide définitif

Chapitre 8. Les assemblages

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Lechapitre 7 a abordé l'agrégation d'ensembles de données uniques, ce qui est utile, mais le plus souvent, tes applications Spark vont rassembler un grand nombre d'ensembles de données différents. C'est pourquoi les jointures constituent un élément essentiel de presque toutes les charges de travail Spark. La capacité de Spark à parler à différentes données signifie que tu gagnes la possibilité de puiser dans une variété de sources de données au sein de ton entreprise. Ce chapitre traite non seulement des jointures qui existent dans Spark et de la façon de les utiliser, mais aussi de certains aspects internes de base afin que tu puisses réfléchir à la façon dont Spark s'y prend réellement pour exécuter la jointure sur le cluster. Ces connaissances de base peuvent t'aider à éviter de manquer de mémoire et à t'attaquer à des problèmes que tu ne pouvais pas résoudre auparavant.

Expressions jointes

Une jointure réunit deux ensembles de données, le gauche et le droit, en comparant la valeur d'une ou plusieurs clés du gauche et du droit et en évaluant le résultat d'une expression de jointure qui détermine si Spark doit réunir l'ensemble de données de gauche avec l'ensemble de données de droite. L'expression de jointure la plus courante, une equi-join, compare si les clés spécifiées dans tes ensembles de données de gauche et de ...