book

Construir arquitecturas Medallion

by Piethein Strengholt

March 2025

Intermediate to advanced

396 pages

12h 58m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quién debería leer este libroNavegar por este libroConvenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
¿Qué es la arquitectura de medallones?Breve historia de la arquitectura de los almacenes de datosSistemas OLTPAlmacenes de datosLa Zona de ReagrupamientoMetodología InmonMetodología KimballPuntos clave de los almacenes de datos tradicionalesBreve historia de los lagos de datosSistema de archivos distribuidos de HadoopMapReduceColmena ApacheProyecto SparkAvanzar con los lagos de datosBreve historia de la arquitectura de las casas del lagoFundadores de SparkAparición de los Formatos de Mesa AbiertaEl auge de las arquitecturas de casas lacustresLa Arquitectura Medallón y sus Retos PrácticosConclusión
Condiciones previas fundacionalesZonas de aterrizaje adicionalesDatos brutosProcesamiento por lotesProcesamiento de datos en tiempo realStreaming estructurado SparkCambiar alimentación de datosCaptura de datos de cambiosConsideraciones y recursos de aprendizajeHerramientas ETL y de orquestaciónGestión de las Tablas DeltaOrdenación en ZPedidos en VPartición de tablasAgrupación de LíquidosCompactación y escrituras optimizadasDeltaLogConclusión
El diseño de tres capasCapa de BronceJerarquía de procesamientoProcesar cargas completas de datosProcesar cargas de datos incrementalesHistorización de Datos en la Capa de BronceEvolución y gestión de esquemasMergeSchema y aplicación del esquemaComprobaciones de validación técnicaUso y gobernanzaLa capa de bronce en la prácticaCapa de plataActividades de limpieza de datosDiseñar el Modelo de Datos de la Capa PlataArmonización con otras fuentes3NF y Bóveda de DatosConsulta operativa y aprendizaje automáticoGestionar el solapamiento de requisitosTareas de automatizaciónLa capa de plata en la prácticaCapa de oroEsquema estrellaMatices del diseño del esquema estrellaCapas Curadas, Semánticas y PlatinoDiseño de una gran mesaCapa de servicioLa capa de oro en la prácticaConclusión
Nuestro estudio de caso: Oceanic AirlinesPresentación de Microsoft FabricDominiosEspacios de trabajo y capacidadesOneLakeIngeniería de datos con SparkAlmacenamiento de datos con T-SQLOtros tipos de carga de trabajo del tejidoEstablecer la baseEstablecer capacidadesConfigurar dominiosConfigurar espacios de trabajoCrear casas en el lagoConsideraciones sobre la capacidadConsideraciones sobre el dominioConsideraciones sobre el espacio de trabajoConsideraciones sobre las entidades lacustresConsideraciones sobre la cuenta de almacenamientoConclusión
Construir la canalización de datosImplementación de la base de datos de ejemplo AdventureWorksConfigurar una conexión de base de datos SQL de AzureCrear una nueva canalización de datosConsideraciones adicionalesPuesta en marcha de las Mesas del LagoRecorrer archivos parquet hasta tablas delta gestionadasUtilizar tablas externasActualizar tablas con operaciones MERGEStreaming estructurado SparkUtilizar la Captura de Datos de CambiosNavegar por las técnicas de tratamiento de datosGestión de esquemasCrear tablas sin definir esquemasDefinir Esquemas con la API del Marco de DatosSentencias SQL DDLConfiguraciones YAML o JSONEnfoque basado en metadatosCargador automático DatabricksHerramientas de tercerosManejar la evolución del esquemaConclusión
Resumen rápidoAplicación de un enfoque basado en metadatosImplementación del almacén de metadatosImplementación de Validaciones Dinámicas de DatosÁreas de mejoraDepuración de datosRealización de tareas de limpieza de datosConsideraciones sobre la limpieza de datosMarcos de Transformación de Datos y Herramientas de Calidad de DatosOptimización del rendimiento de las consultas con la desnormalizaciónEnriquecimientos ligerosHistorización de datosOptimización EmpleosOrquestación con Apache AirFlowRecomendaciones finalesLos datos de la capa de plata como productoConclusión

Diseño de la capa de oroTransformar Datos Utilizando un Esquema EstrellaCreación del modelo semánticoCreación del primer informe Power BICreación de flujos de tareasMejoras para el diseño de la capa de oroMicrosoft Fabric en la prácticaProductos de datosGobierno de datos con Microsoft PurviewConsideraciones sobre el diseño de Microsoft PurviewOrientación para arquitecturas medallónConclusión
Arquitectura MedallónOtras consideracionesRecomendaciones finales
Arquitectura MedallónFinOpsModelos de datosContratos de datosGobernanza de datos
Evolución de la Plataforma de DatosArquitectura MedallónProductos e intercambio de datosRecomendaciones y buenas prácticas
Descentralización de la gestión de datosFlexibilidad en la FederaciónMalla MedallónNúmero de arquitecturas medallónVariantes de la Arquitectura Interior del MedallónCapas separadas de productos de datosMedallones a medida ArquitecturasAdaptabilidad de la Capa de BronceVariaciones de la capa de plataVariaciones de la Capa DoradaModelos de datos empresarialesGestión de Datos MaestrosGestión de datos de referenciaConclusión
Gobernanza de datosGobernanza dentro de una arquitectura de medallonesCatálogo UnityArquitectura Medallón con Catálogo UnityContratos de datosContratos dentro de un catálogoContratos dentro de un metaalmacénContratos de datos mediante archivos YAML y GitOpsOtros datos Especificaciones del contratoSeguridad de datos y gestión de accesosConclusión
Tratamiento de datos no estructuradosRecuperación-Generación mejoradaCapa de BronceCapa de plataCapa de oroIntegración de LLMs y Arquitecturas MedallónPapel de los agentesFormación y perfeccionamiento de los LLMsFuturo de las arquitecturas medallónConclusión

Content preview from Construir arquitecturas Medallion

Capítulo 7. Racionalizar la Capa Oro

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En el Capítulo 5, construimos la capa de Bronce, abordando el reto de crear una estructura consultable a pesar de la diversidad y complejidad de los sistemas fuente. Hice hincapié en la importancia de la estabilidad y la fiabilidad en esta capa fundacional. Pasando al Capítulo 6, nuestra atención se desplazó hacia la capa Plata para mejorar la calidad de los datos y establecer un marco robusto de procesamiento de datos. Aprendiste a adaptar el diseño de la capa Silver para satisfacer necesidades organizativas específicas, adaptadas a distintos requisitos de procesamiento. Concluimos nuestro debate con conjuntos de datos minuciosamente refinados y validados, preparando el escenario para los siguientes pasos.

En este capítulo, continuaremos el ejercicio sumergiéndonos en los detalles del diseño de la capa Oro, la fase final y más detallada de nuestra arquitectura Medallion. Esta capa es fundamental para la toma de decisiones y la elaboración de informes. Es la corona del refinamiento de datos, diseñada para optimizar los datos para consultas y análisis de alto rendimiento. Desempeña un papel crucial en el apoyo a las funciones empresariales críticas.

Utilizarás un enfoque similar al que empleamos para las capas anteriores, y comprobarás que las habilidades que has adquirido se trasladarán al contexto de la capa Oro. Esto te permitirá ...