Spark haute performance (French Edition), 2nd Edition

Annexe A. Just Enough Iceberg et ses amis

Bien qu’il existe de nombreux catalogues concurrents, certains éléments communs importants se retrouvent dans la représentation des données sur disque pour prendre en charge les opérations clés. La possibilité de créer des branches et de remonter le temps est un outil formidable pour le travail sur la qualité des données, mais il existe certaines considérations différentes avec des fichiers largement immuables (c’est-à-dire qui ne changent pas ou ne peuvent pas être modifiés). Il est important de bien comprendre les différentes structures de fichiers et les approches de planification des requêtes, notamment pour savoir comment résoudre les problèmes de performances si tu en rencontres. Bien que ces formats de tables modernes offrent un comportement plus proche de l'ACID, il est important de comprendre qu'il ne s'agit toujours pas de bases de données, et que certains modèles d'accès sont généralement lents.

Avertissement

Il est important de noter que tous ces formats de table et catalogues en sont à des stades de développement relativement précoces, et que différents moteurs peuvent prendre en charge des fonctionnalités très différentes, ce qui peut entraîner des résultats différents pour une même requête selon le moteur utilisé. Cela peut aller jusqu’à ce qu’un moteur ne prenne pas en charge le format des suppressions (ou « tombstones ») d’un autre moteur, et que des données censées être supprimées soient renvoyées dans la requête.