book

Construir arquitecturas Medallion

by Piethein Strengholt

March 2025

Intermediate to advanced

396 pages

12h 58m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quién debería leer este libroNavegar por este libroConvenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
¿Qué es la arquitectura de medallones?Breve historia de la arquitectura de los almacenes de datosSistemas OLTPAlmacenes de datosLa Zona de ReagrupamientoMetodología InmonMetodología KimballPuntos clave de los almacenes de datos tradicionalesBreve historia de los lagos de datosSistema de archivos distribuidos de HadoopMapReduceColmena ApacheProyecto SparkAvanzar con los lagos de datosBreve historia de la arquitectura de las casas del lagoFundadores de SparkAparición de los Formatos de Mesa AbiertaEl auge de las arquitecturas de casas lacustresLa Arquitectura Medallón y sus Retos PrácticosConclusión
Condiciones previas fundacionalesZonas de aterrizaje adicionalesDatos brutosProcesamiento por lotesProcesamiento de datos en tiempo realStreaming estructurado SparkCambiar alimentación de datosCaptura de datos de cambiosConsideraciones y recursos de aprendizajeHerramientas ETL y de orquestaciónGestión de las Tablas DeltaOrdenación en ZPedidos en VPartición de tablasAgrupación de LíquidosCompactación y escrituras optimizadasDeltaLogConclusión
El diseño de tres capasCapa de BronceJerarquía de procesamientoProcesar cargas completas de datosProcesar cargas de datos incrementalesHistorización de Datos en la Capa de BronceEvolución y gestión de esquemasMergeSchema y aplicación del esquemaComprobaciones de validación técnicaUso y gobernanzaLa capa de bronce en la prácticaCapa de plataActividades de limpieza de datosDiseñar el Modelo de Datos de la Capa PlataArmonización con otras fuentes3NF y Bóveda de DatosConsulta operativa y aprendizaje automáticoGestionar el solapamiento de requisitosTareas de automatizaciónLa capa de plata en la prácticaCapa de oroEsquema estrellaMatices del diseño del esquema estrellaCapas Curadas, Semánticas y PlatinoDiseño de una gran mesaCapa de servicioLa capa de oro en la prácticaConclusión
Nuestro estudio de caso: Oceanic AirlinesPresentación de Microsoft FabricDominiosEspacios de trabajo y capacidadesOneLakeIngeniería de datos con SparkAlmacenamiento de datos con T-SQLOtros tipos de carga de trabajo del tejidoEstablecer la baseEstablecer capacidadesConfigurar dominiosConfigurar espacios de trabajoCrear casas en el lagoConsideraciones sobre la capacidadConsideraciones sobre el dominioConsideraciones sobre el espacio de trabajoConsideraciones sobre las entidades lacustresConsideraciones sobre la cuenta de almacenamientoConclusión
Construir la canalización de datosImplementación de la base de datos de ejemplo AdventureWorksConfigurar una conexión de base de datos SQL de AzureCrear una nueva canalización de datosConsideraciones adicionalesPuesta en marcha de las Mesas del LagoRecorrer archivos parquet hasta tablas delta gestionadasUtilizar tablas externasActualizar tablas con operaciones MERGEStreaming estructurado SparkUtilizar la Captura de Datos de CambiosNavegar por las técnicas de tratamiento de datosGestión de esquemasCrear tablas sin definir esquemasDefinir Esquemas con la API del Marco de DatosSentencias SQL DDLConfiguraciones YAML o JSONEnfoque basado en metadatosCargador automático DatabricksHerramientas de tercerosManejar la evolución del esquemaConclusión
Resumen rápidoAplicación de un enfoque basado en metadatosImplementación del almacén de metadatosImplementación de Validaciones Dinámicas de DatosÁreas de mejoraDepuración de datosRealización de tareas de limpieza de datosConsideraciones sobre la limpieza de datosMarcos de Transformación de Datos y Herramientas de Calidad de DatosOptimización del rendimiento de las consultas con la desnormalizaciónEnriquecimientos ligerosHistorización de datosOptimización EmpleosOrquestación con Apache AirFlowRecomendaciones finalesLos datos de la capa de plata como productoConclusión

Diseño de la capa de oroTransformar Datos Utilizando un Esquema EstrellaCreación del modelo semánticoCreación del primer informe Power BICreación de flujos de tareasMejoras para el diseño de la capa de oroMicrosoft Fabric en la prácticaProductos de datosGobierno de datos con Microsoft PurviewConsideraciones sobre el diseño de Microsoft PurviewOrientación para arquitecturas medallónConclusión
Arquitectura MedallónOtras consideracionesRecomendaciones finales
Arquitectura MedallónFinOpsModelos de datosContratos de datosGobernanza de datos
Evolución de la Plataforma de DatosArquitectura MedallónProductos e intercambio de datosRecomendaciones y buenas prácticas
Descentralización de la gestión de datosFlexibilidad en la FederaciónMalla MedallónNúmero de arquitecturas medallónVariantes de la Arquitectura Interior del MedallónCapas separadas de productos de datosMedallones a medida ArquitecturasAdaptabilidad de la Capa de BronceVariaciones de la capa de plataVariaciones de la Capa DoradaModelos de datos empresarialesGestión de Datos MaestrosGestión de datos de referenciaConclusión
Gobernanza de datosGobernanza dentro de una arquitectura de medallonesCatálogo UnityArquitectura Medallón con Catálogo UnityContratos de datosContratos dentro de un catálogoContratos dentro de un metaalmacénContratos de datos mediante archivos YAML y GitOpsOtros datos Especificaciones del contratoSeguridad de datos y gestión de accesosConclusión
Tratamiento de datos no estructuradosRecuperación-Generación mejoradaCapa de BronceCapa de plataCapa de oroIntegración de LLMs y Arquitecturas MedallónPapel de los agentesFormación y perfeccionamiento de los LLMsFuturo de las arquitecturas medallónConclusión

Content preview from Construir arquitecturas Medallion

Parte III. Casos prácticos reales

En esta parte, profundizamos en las aplicaciones de la arquitectura Medallion en el mundo real mediante estudios de casos detallados de empresas líderes. Esta parte no sólo muestra la adaptabilidad y eficacia del modelo Medallion en distintos sectores, sino que también proporciona ideas prácticas sobre la ampliación de estas arquitecturas. Examinando estos casos prácticos, comprenderás mejor cómo adaptar la arquitectura Medallion para satisfacer necesidades y objetivos empresariales específicos. El capítulo final se centra en las estrategias para gestionar y escalar múltiples arquitecturas Medallion dentro de la misma organización y mira hacia los futuros desarrollos en este campo.

El Capítulo 8 explora cómo AP Pension, un importante fondo de pensiones, implantó la arquitectura Medallion para mejorar sus capacidades de tratamiento y análisis de datos. Este estudio de caso proporciona información sobre los retos a los que se enfrentó AP Pension y cómo los superó adoptando un enfoque por capas.

En el Capítulo 9, nos ocupamos de Amadeus, líder en soluciones tecnológicas para el sector de los viajes. Este caso práctico demuestra cómo adoptaron la arquitectura Medallion para gestionar grandes cantidades de datos y agilizar sus operaciones. Nos centramos en sus estrategias para integrar fuentes de datos dispares y aprovechar el procesamiento de datos en tiempo real para mejorar la experiencia del cliente y la eficacia operativa.

En el Capítulo 10