book

Construir arquitecturas Medallion

by Piethein Strengholt

March 2025

Intermediate to advanced

396 pages

12h 58m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quién debería leer este libroNavegar por este libroConvenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
¿Qué es la arquitectura de medallones?Breve historia de la arquitectura de los almacenes de datosSistemas OLTPAlmacenes de datosLa Zona de ReagrupamientoMetodología InmonMetodología KimballPuntos clave de los almacenes de datos tradicionalesBreve historia de los lagos de datosSistema de archivos distribuidos de HadoopMapReduceColmena ApacheProyecto SparkAvanzar con los lagos de datosBreve historia de la arquitectura de las casas del lagoFundadores de SparkAparición de los Formatos de Mesa AbiertaEl auge de las arquitecturas de casas lacustresLa Arquitectura Medallón y sus Retos PrácticosConclusión
Condiciones previas fundacionalesZonas de aterrizaje adicionalesDatos brutosProcesamiento por lotesProcesamiento de datos en tiempo realStreaming estructurado SparkCambiar alimentación de datosCaptura de datos de cambiosConsideraciones y recursos de aprendizajeHerramientas ETL y de orquestaciónGestión de las Tablas DeltaOrdenación en ZPedidos en VPartición de tablasAgrupación de LíquidosCompactación y escrituras optimizadasDeltaLogConclusión
El diseño de tres capasCapa de BronceJerarquía de procesamientoProcesar cargas completas de datosProcesar cargas de datos incrementalesHistorización de Datos en la Capa de BronceEvolución y gestión de esquemasMergeSchema y aplicación del esquemaComprobaciones de validación técnicaUso y gobernanzaLa capa de bronce en la prácticaCapa de plataActividades de limpieza de datosDiseñar el Modelo de Datos de la Capa PlataArmonización con otras fuentes3NF y Bóveda de DatosConsulta operativa y aprendizaje automáticoGestionar el solapamiento de requisitosTareas de automatizaciónLa capa de plata en la prácticaCapa de oroEsquema estrellaMatices del diseño del esquema estrellaCapas Curadas, Semánticas y PlatinoDiseño de una gran mesaCapa de servicioLa capa de oro en la prácticaConclusión
Nuestro estudio de caso: Oceanic AirlinesPresentación de Microsoft FabricDominiosEspacios de trabajo y capacidadesOneLakeIngeniería de datos con SparkAlmacenamiento de datos con T-SQLOtros tipos de carga de trabajo del tejidoEstablecer la baseEstablecer capacidadesConfigurar dominiosConfigurar espacios de trabajoCrear casas en el lagoConsideraciones sobre la capacidadConsideraciones sobre el dominioConsideraciones sobre el espacio de trabajoConsideraciones sobre las entidades lacustresConsideraciones sobre la cuenta de almacenamientoConclusión
Construir la canalización de datosImplementación de la base de datos de ejemplo AdventureWorksConfigurar una conexión de base de datos SQL de AzureCrear una nueva canalización de datosConsideraciones adicionalesPuesta en marcha de las Mesas del LagoRecorrer archivos parquet hasta tablas delta gestionadasUtilizar tablas externasActualizar tablas con operaciones MERGEStreaming estructurado SparkUtilizar la Captura de Datos de CambiosNavegar por las técnicas de tratamiento de datosGestión de esquemasCrear tablas sin definir esquemasDefinir Esquemas con la API del Marco de DatosSentencias SQL DDLConfiguraciones YAML o JSONEnfoque basado en metadatosCargador automático DatabricksHerramientas de tercerosManejar la evolución del esquemaConclusión
Resumen rápidoAplicación de un enfoque basado en metadatosImplementación del almacén de metadatosImplementación de Validaciones Dinámicas de DatosÁreas de mejoraDepuración de datosRealización de tareas de limpieza de datosConsideraciones sobre la limpieza de datosMarcos de Transformación de Datos y Herramientas de Calidad de DatosOptimización del rendimiento de las consultas con la desnormalizaciónEnriquecimientos ligerosHistorización de datosOptimización EmpleosOrquestación con Apache AirFlowRecomendaciones finalesLos datos de la capa de plata como productoConclusión

Diseño de la capa de oroTransformar Datos Utilizando un Esquema EstrellaCreación del modelo semánticoCreación del primer informe Power BICreación de flujos de tareasMejoras para el diseño de la capa de oroMicrosoft Fabric en la prácticaProductos de datosGobierno de datos con Microsoft PurviewConsideraciones sobre el diseño de Microsoft PurviewOrientación para arquitecturas medallónConclusión
Arquitectura MedallónOtras consideracionesRecomendaciones finales
Arquitectura MedallónFinOpsModelos de datosContratos de datosGobernanza de datos
Evolución de la Plataforma de DatosArquitectura MedallónProductos e intercambio de datosRecomendaciones y buenas prácticas
Descentralización de la gestión de datosFlexibilidad en la FederaciónMalla MedallónNúmero de arquitecturas medallónVariantes de la Arquitectura Interior del MedallónCapas separadas de productos de datosMedallones a medida ArquitecturasAdaptabilidad de la Capa de BronceVariaciones de la capa de plataVariaciones de la Capa DoradaModelos de datos empresarialesGestión de Datos MaestrosGestión de datos de referenciaConclusión
Gobernanza de datosGobernanza dentro de una arquitectura de medallonesCatálogo UnityArquitectura Medallón con Catálogo UnityContratos de datosContratos dentro de un catálogoContratos dentro de un metaalmacénContratos de datos mediante archivos YAML y GitOpsOtros datos Especificaciones del contratoSeguridad de datos y gestión de accesosConclusión
Tratamiento de datos no estructuradosRecuperación-Generación mejoradaCapa de BronceCapa de plataCapa de oroIntegración de LLMs y Arquitecturas MedallónPapel de los agentesFormación y perfeccionamiento de los LLMsFuturo de las arquitecturas medallónConclusión

Overview

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Para obtener la información que les da una ventaja competitiva, las organizaciones recurren cada vez más a la arquitectura Medallion, de eficacia probada. Sin embargo, implementar una arquitectura de datos robusta puede ser difícil, especialmente cuando se trata de utilizar las capas Bronce, Plata y Oro de la arquitectura Medallion; si se hace mal, puede obstaculizar tu capacidad para tomar decisiones basadas en datos. Esta guía práctica te ayuda a construir una arquitectura Medallion de la manera correcta con Azure Databricks y Microsoft Fabric.

Basándose en la experiencia práctica sobre el terreno, Piethein Strengholt desmitifica las suposiciones comunes y los problemas complejos a los que te enfrentarás al embarcarte en una nueva arquitectura de datos. Arquitectos e ingenieros de todo tipo encontrarán respuestas a las preguntas más típicas, junto con las opiniones de organizaciones reales sobre lo que ha funcionado, lo que no ha funcionado y por qué.

Aprenderás:

Aprende a construir una arquitectura Medallion con Azure Databricks y Microsoft Fabric.
Obtén información de tres casos prácticos reales que ilustran la experiencia práctica sobre el terreno y las lecciones aprendidas
Explora consideraciones de escalado, incluyendo gobernanza, seguridad, IA generativa y más.
Toma decisiones informadas al diseñar o implementar nuevas arquitecturas de datos.
Obtén patrones de éxito probados que se alinean con objetivos organizativos más amplios.