Apprendre Spark, 2ème édition

Chapitre 5. Spark SQL et DataFrames : Interagir avec des sources de données externes

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans le chapitre précédent, nous avons exploré l'interaction avec les sources de données intégrées à Spark. Nous avons également examiné de plus près l'API DataFrame et son interopérabilité avec Spark SQL. Dans ce chapitre, nous allons nous concentrer sur la façon dont Spark SQL s'interface avec les composants externes. Plus précisément, nous discutons de la façon dont Spark SQL te permet de :

• Utilise des fonctions définies par l'utilisateur à la fois pour Apache Hive et Apache Spark.

• Se connecter avec des sources de données externes telles que les bases de données JDBC et SQL, PostgreSQL, MySQL, Tableau, Azure Cosmos DB et MS SQL Server.

• Travaille avec des types simples et complexes, des fonctions d'ordre supérieur et des opérateurs relationnels courants.

Nous examinerons également différentes options pour effectuer des requêtes sur Spark à l'aide de Spark SQL, notamment le shell Spark SQL, Beeline et Tableau.

Spark SQL et Apache Hive

Spark SQL est un composant fondateur d'Apache Spark qui intègre le traitement relationnel à l'API de programmation fonctionnelle de Spark. Sa genèse remonte à des travaux antérieurs sur Shark. À l'origine, Spark a été construit sur la base de code Hive, au-dessus d'Apache Spark¹ et est devenu l'un des premiers moteurs de requête ...