book

Construir arquitecturas Medallion

by Piethein Strengholt

March 2025

Intermediate to advanced

396 pages

12h 58m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quién debería leer este libroNavegar por este libroConvenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
¿Qué es la arquitectura de medallones?Breve historia de la arquitectura de los almacenes de datosSistemas OLTPAlmacenes de datosLa Zona de ReagrupamientoMetodología InmonMetodología KimballPuntos clave de los almacenes de datos tradicionalesBreve historia de los lagos de datosSistema de archivos distribuidos de HadoopMapReduceColmena ApacheProyecto SparkAvanzar con los lagos de datosBreve historia de la arquitectura de las casas del lagoFundadores de SparkAparición de los Formatos de Mesa AbiertaEl auge de las arquitecturas de casas lacustresLa Arquitectura Medallón y sus Retos PrácticosConclusión
Condiciones previas fundacionalesZonas de aterrizaje adicionalesDatos brutosProcesamiento por lotesProcesamiento de datos en tiempo realStreaming estructurado SparkCambiar alimentación de datosCaptura de datos de cambiosConsideraciones y recursos de aprendizajeHerramientas ETL y de orquestaciónGestión de las Tablas DeltaOrdenación en ZPedidos en VPartición de tablasAgrupación de LíquidosCompactación y escrituras optimizadasDeltaLogConclusión
El diseño de tres capasCapa de BronceJerarquía de procesamientoProcesar cargas completas de datosProcesar cargas de datos incrementalesHistorización de Datos en la Capa de BronceEvolución y gestión de esquemasMergeSchema y aplicación del esquemaComprobaciones de validación técnicaUso y gobernanzaLa capa de bronce en la prácticaCapa de plataActividades de limpieza de datosDiseñar el Modelo de Datos de la Capa PlataArmonización con otras fuentes3NF y Bóveda de DatosConsulta operativa y aprendizaje automáticoGestionar el solapamiento de requisitosTareas de automatizaciónLa capa de plata en la prácticaCapa de oroEsquema estrellaMatices del diseño del esquema estrellaCapas Curadas, Semánticas y PlatinoDiseño de una gran mesaCapa de servicioLa capa de oro en la prácticaConclusión
Nuestro estudio de caso: Oceanic AirlinesPresentación de Microsoft FabricDominiosEspacios de trabajo y capacidadesOneLakeIngeniería de datos con SparkAlmacenamiento de datos con T-SQLOtros tipos de carga de trabajo del tejidoEstablecer la baseEstablecer capacidadesConfigurar dominiosConfigurar espacios de trabajoCrear casas en el lagoConsideraciones sobre la capacidadConsideraciones sobre el dominioConsideraciones sobre el espacio de trabajoConsideraciones sobre las entidades lacustresConsideraciones sobre la cuenta de almacenamientoConclusión
Construir la canalización de datosImplementación de la base de datos de ejemplo AdventureWorksConfigurar una conexión de base de datos SQL de AzureCrear una nueva canalización de datosConsideraciones adicionalesPuesta en marcha de las Mesas del LagoRecorrer archivos parquet hasta tablas delta gestionadasUtilizar tablas externasActualizar tablas con operaciones MERGEStreaming estructurado SparkUtilizar la Captura de Datos de CambiosNavegar por las técnicas de tratamiento de datosGestión de esquemasCrear tablas sin definir esquemasDefinir Esquemas con la API del Marco de DatosSentencias SQL DDLConfiguraciones YAML o JSONEnfoque basado en metadatosCargador automático DatabricksHerramientas de tercerosManejar la evolución del esquemaConclusión
Resumen rápidoAplicación de un enfoque basado en metadatosImplementación del almacén de metadatosImplementación de Validaciones Dinámicas de DatosÁreas de mejoraDepuración de datosRealización de tareas de limpieza de datosConsideraciones sobre la limpieza de datosMarcos de Transformación de Datos y Herramientas de Calidad de DatosOptimización del rendimiento de las consultas con la desnormalizaciónEnriquecimientos ligerosHistorización de datosOptimización EmpleosOrquestación con Apache AirFlowRecomendaciones finalesLos datos de la capa de plata como productoConclusión

Diseño de la capa de oroTransformar Datos Utilizando un Esquema EstrellaCreación del modelo semánticoCreación del primer informe Power BICreación de flujos de tareasMejoras para el diseño de la capa de oroMicrosoft Fabric en la prácticaProductos de datosGobierno de datos con Microsoft PurviewConsideraciones sobre el diseño de Microsoft PurviewOrientación para arquitecturas medallónConclusión
Arquitectura MedallónOtras consideracionesRecomendaciones finales
Arquitectura MedallónFinOpsModelos de datosContratos de datosGobernanza de datos
Evolución de la Plataforma de DatosArquitectura MedallónProductos e intercambio de datosRecomendaciones y buenas prácticas
Descentralización de la gestión de datosFlexibilidad en la FederaciónMalla MedallónNúmero de arquitecturas medallónVariantes de la Arquitectura Interior del MedallónCapas separadas de productos de datosMedallones a medida ArquitecturasAdaptabilidad de la Capa de BronceVariaciones de la capa de plataVariaciones de la Capa DoradaModelos de datos empresarialesGestión de Datos MaestrosGestión de datos de referenciaConclusión
Gobernanza de datosGobernanza dentro de una arquitectura de medallonesCatálogo UnityArquitectura Medallón con Catálogo UnityContratos de datosContratos dentro de un catálogoContratos dentro de un metaalmacénContratos de datos mediante archivos YAML y GitOpsOtros datos Especificaciones del contratoSeguridad de datos y gestión de accesosConclusión
Tratamiento de datos no estructuradosRecuperación-Generación mejoradaCapa de BronceCapa de plataCapa de oroIntegración de LLMs y Arquitecturas MedallónPapel de los agentesFormación y perfeccionamiento de los LLMsFuturo de las arquitecturas medallónConclusión

Content preview from Construir arquitecturas Medallion

Capítulo 2. Sentar las bases

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Antes de construir una casa, primero hay que establecer unos cimientos sólidos. La misma idea se aplica a la arquitectura Medallion. Este capítulo sirve de puente preparatorio, introduciendo componentes y patrones clave que se repiten a lo largo de nuestros debates sobre arquitecturas Medallion. También prepara el terreno para el Capítulo 3, en el que profundizaremos en la arquitectura Medallion y sus capas.

En este capítulo, cubrimos varias áreas fundamentales:

Zonas de aterrizaje adicionales: Áreas preliminares donde se ingieren los datos brutos de antes de que lleguen a la arquitectura Medallion
Datos brutos: Los datos no procesados recogidos de diversas fuentes, que constituyen la base de posteriores transformaciones y análisis.
Tratamiento por lotes: Un método de procesamiento de datos en el que los datos se recogen, procesan y luego se emiten por lotes a intervalos programados.
Procesamiento de datos en tiempo real: A diferencia del procesamiento por lotes, se trata de procesar los datos en cuanto están disponibles, lo que permite un análisis y una toma de decisiones inmediatos
Herramientas ETL y de orquestación: Integrales para extraer, transformar y cargar datos, y desempeñan un papel crucial en la orquestación y automatización de los flujos de trabajo dentro del ecosistema de datos