Spark haute performance (French Edition), 2nd Edition

Chapitre 5. DataFrames , Datasets et Spark SQL

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

En 2017, on avait prédit que l'avenir de Spark serait défini par la simplicité et la facilité d'adoption des interfaces DataFrames et Datasets de Spark SQL. Aujourd'hui, ce sont les fonctionnalités les plus utilisées par les développeurs Spark. Avec des options de stockage plus efficaces, un optimiseur avancé, des accélérateurs natifs et des opérations directes sur les données sérialisées, c'est devenu la solution incontournable pour le traitement distribué des données pour les ingénieurs de données, les analystes de données et les data scientists.

Ces composants sont super importants pour tirer le meilleur parti des performances de Spark (voir la figure 5-1). Les Datasets sont un concept spécifique à Scala/Java, contrairement aux DataFrames, qui sont pris en charge dans tous les langages, y compris PySpark. Dans l’ensemble, on utilisera « Dataset » au lieu d’écrire « Dataset » et « DataFrame » en toutes lettres, sauf dans les titres de section, où on a séparé certaines informations spécifiques aux Datasets. Quand on parlera de choses qui s’appliquent à Spark SQL quelle que soit l’interface (SQL, DataFrame ou Dataset), on dira simplement « Spark SQL ».

Les Datasets, ainsi que leurs prédécesseurs non typés, les DataFrames, définissent davantage l’objectif (déclaratif) plutôt que de préciser comment calculer ...