Chapitre 6. Construire des filières de production
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
À mesure que nos pipelines de données gagnent en complexité, nous devons réfléchir à la manière de les mettre en production pour garantir leur fiabilité, leur évolutivité et leur maintenabilité. C'est là qu'intervient la construction de pipelines de production, et c'est l'objet des pages suivantes. Dans ce chapitre, nous allons explorer comment créer des pipelines de production robustes et efficaces à l'aide de Delta Live Tables et de Databricks Jobs. Nous approfondirons les nuances du contrôle de la qualité des données, de la capture des changements de données et de l'orchestration des flux de travail pour automatiser nos pipelines.
Explorer les tables vivantes de Delta
Delta Live Tables (DLT) est un outil puissant qui te permet de construire des pipelines de données de production en toute simplicité. En offrant un moyen simple et intuitif de gérer les pipelines de données, DLT te permet de te concentrer sur l'extraction d'informations à partir de tes données. Dans cette section, nous allons nous plonger dans l'univers des Delta Live Tables, en explorant ses principales caractéristiques, ses avantages et ses cas d'utilisation.
Présentation des tables Delta Live
Delta Live Tables est un cadre ETL déclaratif alimenté par Apache Spark pour construire des pipelines de données fiables et faciles à maintenir. ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access