Chapitre 8. Lire et écrire dans des systèmes externes
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Les données peuvent être stockées dans de nombreux systèmes différents, tels que les systèmes de fichiers, les magasins d'objets, les systèmes de bases de données relationnelles, les magasins de valeurs clés, les index de recherche, les journaux d'événements, les files d'attente de messages, etc. Chaque catégorie de systèmes a été conçue pour des schémas d'accès spécifiques et excelle à servir un certain objectif. Par conséquent, les infrastructures de données d'aujourd'hui sont souvent composées de nombreux systèmes de stockage différents. Avant d'ajouter un nouveau composant au mélange, il faut logiquement se poser la question suivante : "Comment fonctionne-t-il avec les autres composants de ma pile ?"
L'ajout d'un système de traitement de données, tel qu'Apache Flink, nécessite des considérations minutieuses car il n'inclut pas sa propre couche de stockage mais s'appuie sur des systèmes de stockage externes pour ingérer et faire persister les données. Il est donc important que les processeurs de données tels que Flink fournissent une bibliothèque bien équipée de connecteurs pour lire et écrire des données dans des systèmes externes, ainsi qu'une API pour mettre en œuvre des connecteurs personnalisés. Cependant, le simple fait de pouvoir lire ou écrire des données dans des entrepôts de données ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access