book

Apache Hudi: la guía definitiva.

by Shiyan Xu, Prashant Wason, Bhavani Sudha Saktheeswaran, Rebecca Bilbro

October 2025

Intermediate to advanced

290 pages

7h 59m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

La evolución de las arquitecturas de gestión de datosEl auge de los lagos de datosEl problema del "lago de datos transaccional" de Uber¿Qué es Hudi?La pila HudiFormato de tabla nativoFormato de Tabla ConectableMotor de almacenamientoAPI de programaciónAcceso de UsuarioComponentes compartidos de la plataformaHudi en el mundo realResumen
Operaciones básicasCrear la TablaInsertar, Actualizar, Eliminar y Obtener RegistrosElegir un tipo de tablaCrear una Tabla de Fusión en LecturaDisposición de la tabla MOR tras las escriturasCopiar al escribir frente a combinar al leerUso AvanzadoCrear una tabla como SelectCombinar datos de origen en la tablaActualizar y Borrar Utilizando Campos Clave No RegistroConsulta de viajes en el tiempoConsulta incrementalResumen
Desglose del flujo de escrituraIniciar compromisoPreparar registrosParticionar registrosEscribir en almacenamientoConfirmar cambiosResumir el flujo de upsertExplorar las operaciones de escrituraDefinir las propiedades de la tablaUtilizar INSERT INTORealizar una fusión parcial con MERGE INTOBorrarSobrescribir Partición o TablaDestacar funciones importantesGeneradores de ClavesModos de FusiónEvolución del esquema en escrituraBootstrapResumen
Integración con motores de consultaCiclo de vida de la consultaCatálogo de datosIntegración HudiExplorar los tipos de consultaConsulta InstantáneaConsulta de viajes en el tiempoConsulta Incremental: Modo Último EstadoConsulta Incremental: Modo de Captura de Datos de CambiosCaracterísticas destacadasLectura en flujoEvolución del esquema en lecturaLeer con Rust o PythonResumen
Visión general de los índices en HudiAceleración de índices para escriturasIndexación Multimodal de Uso GeneralÍndices del EscritorComparación de las opciones de indexación del escritorAceleración de índices para lecturasOmisión de datosComparación de igualdadesIndexación de expresionesConstruir los índices adecuadosResumen
Visión general del servicio de tablasModo de Implementación: En líneaModo de Implementación: Ejecución asíncronaModo de Implementación: IndependienteElegir un modo adecuadoCompactaciónProgramar la compactaciónEjecutar la compactaciónAgrupaciónProgramar agrupaciónEjecutar la agrupaciónEstrategias de optimización del diseñoAgrupación frente a compactaciónLimpiezaProgramar limpiezaEjecución de la limpiezaIndexaciónResumen
Por qué el control de la concurrencia es más difícil en los lagos de datosTécnicas de control de la concurrenciaEscenarios multiescritorPor qué son necesarios los multiescritoresEscenarios de multiescritura para OCCEscenarios de multiescritura para NBCC y MVCCEl valor predeterminado simple: Escritor único con servicios de tablaCómo maneja Hudi el control de la concurrenciaLos fundamentos del control de concurrencia de HudiEl proceso de confirmación en tres pasosDetección y resolución de conflictosMecanismos de bloqueoRetos de los sistemas multiescritoresUso del soporte multiescritor en HudiHabilitar el soporte multiescrituraConfiguración del mecanismo de bloqueoMultiescritores con Hudi StreamerEscritores múltiples con el escritor de fuentes de datos SparkServicios de escritor único y tablas múltiplesDesactivar la compatibilidad con multiescritoresConsejos y buenas prácticasImplementar la Partición y la Agrupación de ArchivosActivar la detección temprana de conflictosOptimizar los mecanismos de bloqueoUtilizar servicios de tabla asíncronosReducir los Conflictos de Escritura y los Recursos DesperdiciadosEvitar la duplicación de datos cuando se utilizan escritores múltiplesResumen
Los Problemas del Silo de Datos de AlcubierreAseguramiento de la Calidad de los Datos y DeduplicaciónDatos heterogéneos y evolución de esquemasGestión, Localización y Consistencia de los DatosResumen del problemaArquitectura Lakehouse al rescate¿Qué es Hudi Streamer?Primeros pasos con Hudi StreamerIngesta de datos desde S3Ingesta de datos desde KafkaIngesta de datos desde RDBMSHudi Streamer en acciónPreparación de la fuente ascendenteConfiguración de Hudi StreamerDesbloquear el poder del análisisExplorando las opciones de Hudi StreamerOpciones GeneralesOpciones de origenOpciones OperativasResumen
Funcionar con facilidadConocer la CLIOperaciones con TablasIntegración en la plataformaActivación de Devoluciones de Llamada Post-CompromisoConectar sistemas de monitoreoSincronización con catálogosAjuste del RendimientoPrincipios fundamentales de ajusteAjuste del rendimiento de escrituraAjuste del rendimiento de lecturaAjuste de los servicios de tablaResumen
Visión general de la arquitecturaRetailMax Corp: Un Escenario Real de LakehouseArquitectura: Implementación de Medallion con HudiConfiguración de las Tablas Hudi de RetailMaxClaves primarias (hoodie.datasource.write.recordkey.field)Claves precombinadas (hoodie.datasource.write.precombine.field)Partición (campo rutapartición)Tipos de Tabla (COW Versus MOR)Capa de Bronce: Ingesta de datos ascendentesConfiguración de fuentes de datos ascendentesTransmisión de datos mutables y transaccionales con Debezium, Flink y HudiIngesta de flujos de eventos de aplicaciones con Hudi Kafka Connect SinkCapa de Plata: Creación de conjuntos de datos derivadosObjetivos de la Capa de Plata para RetailMaxTransformaciones basadas en flujos con Hudi StreamerTransformaciones por lotes e incrementales con Spark SQLMantenimiento de la calidad y coherencia de los datos en la Capa PlateadaCapa de Oro: Consulta de Lakehouse para obtener informaciónAnálisis interactivos con TrinoAnálisis por lotes e informes con Spark SQLConsultas avanzadas: Viajes en el Tiempo y Análisis PuntualesCapa empresarial: Información basada en IA para RetailMaxPreparación de datos para IA/Aprendizaje Automático en la Capa DoradaCreación de una base de conocimientos para aplicaciones potenciadas por LLM con Ray y HudiFuncionamiento y optimización del almacén de datos de HudiControl de la Concurrencia y Escenarios de Escritura MúltipleMonitoreo de la Capa DoradaRecuperación de desastres y resistencia de datosPuntos de referencia y consideraciones sobre el rendimientoResumen

Overview

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Supera los retos que plantea la creación de garantías transaccionales sobre datos que cambian rápidamente utilizando Apache Hudi. Con esta guía práctica, los ingenieros de datos, los arquitectos de datos y los arquitectos de software descubrirán cómo crear de forma fluida un lakehouse interoperable a partir de fuentes de datos dispares y obtener información más rápidamente utilizando el motor de consulta que elijan.

Los autores Shiyan Xu, Prashant Wason, Bhavani Sudha Saktheeswaran y Rebecca Bilbro proporcionan ejemplos prácticos y conocimientos que te ayudarán a aprovechar todo el potencial de los data lakehouses para diferentes niveles de análisis, desde el análisis por lotes hasta el interactivo y el streaming. También aprenderás a evaluar las opciones de almacenamiento y a aprovechar las optimizaciones de tablas automatizadas integradas para crear, mantener y operar aplicaciones de datos de producción.

Este libro te ayudará a:

Comprender la necesidad de los data lakehouses transaccionales y los retos asociados a su creación.
Explorar el soporte del ecosistema de datos que ofrece Apache Hudi para fuentes de datos y motores de consulta populares.
Realizar diferentes operaciones de escritura y lectura en tablas de Apache Hudi y utilizarlas de forma eficaz para diversos casos de uso, incluidas aplicaciones por lotes y de streaming.
Aplicar diferentes técnicas y consideraciones de almacenamiento, como la indexación y la agrupación en clústeres, para maximizar el rendimiento de tu lago de datos.
Crear canalizaciones de datos incrementales de extremo a extremo utilizando Apache Hudi para una ingestión más rápida y análisis más actualizados.