Capítulo 6. Construye la capa de plata
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
En el Capítulo 5, se exploró el diseño y la configuración fundamentales de la capa Bronce de la arquitectura Medallion, basada en la arquitectura de referencia de Oceanic Airlines. Se examinaron la Implementación y la configuración, enriqueciendo la comprensión con numerosos fragmentos de código y ejemplos. Aprendiste que la elaboración de una capa Bronce consultable presenta importantes retos debido a la naturaleza siempre cambiante y compleja de los sistemas fuente.
En adelante, este capítulo se basa en esos cimientos avanzando hacia la construcción de la capa Plata, el siguiente nivel de la arquitectura Medallion, donde el objetivo es refinar, limpiar y normalizar los datos. Exploraremos varias áreas críticas en el siguiente orden:
-
Garantizar la integridad de los datos mediante un enfoque basado en metadatos
-
Depuración de datos para mejorar la calidad
-
Transformar los datos en un modelo desnormalizado para facilitar el acceso
-
Enriquecer los datos, potencialmente incorporando la gestión de datos maestros
-
Implantar la historización de datos para seguir los cambios a lo largo del tiempo
-
Centrarse en trabajos de optimización
-
Orquestar canalizaciones de datos con Airflow para automatizar el procesamiento de principio a fin
Al igual que el Capítulo 5, este capítulo te guía por los pasos esenciales de configuración ...