Premiers pas avec SparkSession
(ou HiveContext ou SQLContext)Dépendances de Spark SQLLes bases des schémasMétadonnées de colonnesAPI DataFrameTransformationsTransformations multi-DataFrameRequêtes SQL classiques et interaction avec les
tables de métastore (Hive, Iceberg, etc.)Représentation des données dans les DataFrames et les DatasetsTungstenEnsembles de donnéesInteropérabilité avec les RDD, les DataFrames et les collections localesTypage fort à la compilationTransformations fonctionnelles plus faciles (de type RDD)Transformations relationnellesTransformations relationnelles multi-ensembles de donnéesOpérations groupées sur des ensembles de donnéesExtension avec des fonctions définies par l'utilisateur (UDF), des fonctions d'agrégation (UDAF) et des expressionsExpressions personnaliséesEncodeurs personnalisésFonctions de table définies par l'utilisateurFonctions de chargement et d'enregistrement des donnéesDataFrameWriter et DataFrameReaderFormatsModes d'enregistrementFusionPartitions (découverte et écriture)Optimiseur de requêtesPlans logiques et physiquesRègles d'optimisation statiques à connaître
(et comment les contourner)Comprendre l'exécution adaptative des requêtes SparkGénération de codePlans de requêtes volumineux et algorithmes itératifsExtensions SparkSession et optimiseurs personnalisésDébogage des requêtes Spark SQLServeur JDBC/ODBCConclusion