Prefacio

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Bienvenido a Apache Iceberg: ¡ La Guía Definitiva! Estamos encantados de que te hayas embarcado en este viaje de aprendizaje con nosotros. En este prefacio, te ofrecemos una visión general de este libro, por qué lo hemos escrito y cómo puedes sacarle el máximo partido.

Acerca de este libro

En estas páginas aprenderás qué es Apache Iceberg, por qué existe, cómo funciona y cómo aprovechar su potencia. Diseñado para ingenieros de datos, arquitectos, científicos y analistas que trabajan con grandes conjuntos de datos en diversos casos de uso, desde cuadros de mando de BI hasta IA/ML, este libro explora los conceptos básicos, el funcionamiento interno y las aplicaciones prácticas de Apache Iceberg. Cuando llegues al final, habrás comprendido lo esencial y poseerás los conocimientos prácticos para implementar Apache Iceberg con eficacia en tus proyectos de datos. Tanto si eres un principiante como un profesional experimentado, Apache Iceberg: La Guía Definitiva será tu compañero de confianza en este esclarecedor viaje a Apache Iceberg.

Por qué escribimos este libro

A medida que observábamos el rápido crecimiento y adopción del ecosistema Apache Iceberg, se hizo evidente que era necesario abordar una creciente laguna de conocimientos. Inicialmente, empezamos compartiendo conocimientos a través de una serie de entradas de blog en la plataforma Dremio para proporcionar información valiosa a la floreciente comunidad Iceberg. Sin embargo, pronto quedó claro que era esencial disponer de un recurso completo y centralizado para satisfacer la creciente demanda de una referencia definitiva sobre Iceberg. Esta constatación fue la fuerza motriz que impulsó la creación de Apache Iceberg: La Guía Definitiva. Nuestro objetivo es proporcionar a los lectores una única fuente autorizada que salve la brecha de conocimientos y permita a las personas y organizaciones aprovechar al máximo las capacidades de Apache Iceberg en sus esfuerzos relacionados con los datos.

Lo que encontrarás dentro

En los siguientes capítulos, aprenderás qué es Apache Iceberg y cómo funciona, cómo puedes aprovechar el formato con diversas herramientas, y las buenas prácticas para gestionar la calidad y el gobierno de los datos de las tablas de Apache Iceberg. Aquí tienes un resumen del contenido de cada capítulo:

Capítulo 1, "Introducción a Apache Iceberg"

Exploración del contexto histórico de los lagos de datos y de los conceptos esenciales subyacentes a Apache Iceberg.

Capítulo 2, "La arquitectura del Iceberg Apache"

Sumérgete en el intrincado diseño de Apache Iceberg, examinando cómo funcionan juntos sus diversos componentes.

Capítulo 3, "Ciclo de vida de las consultas de escritura y lectura"

Examen del proceso paso a paso de las transacciones de Apache Iceberg, destacando las actualizaciones, las lecturas y las consultas de viaje en el tiempo.

Capítulo 4, "Optimizar el rendimiento de las tablas Iceberg"

Debates sobre el mantenimiento de un rendimiento optimizado en las tablas Iceberg de Apache mediante técnicas como la compactación y la ordenación.

Capítulo 5, "Catálogos Iceberg"

Explicación en profundidad de la función de los catálogos de Apache Iceberg, explorando las distintas opciones de catálogo disponibles.

Capítulo 6, "Apache Spark"

Sesiones prácticas utilizando Apache Spark para gestionar e interactuar con tablas Apache Iceberg.

Capítulo 7, "El motor de consultas SQL de Dremio"

Exploración de la plataforma Dremio lakehouse, centrándose en DDL, DML y optimización de tablas para tablas Apache Iceberg.

Capítulo 8, "Pegamento AWS"

Demostración del uso de AWS Glue Catalog y AWS Glue Studio para trabajar con tablas Apache Iceberg.

Capítulo 9, "Apache Flink"

Ejercicios prácticos de uso de Apache Flink para el procesamiento de datos en streaming con tablas Apache Iceberg.

Capítulo 10, "Apache Iceberg en producción"

Ideas para gestionar la calidad de los datos en producción, utilizar tablas de metadatos para el monitoreo del estado de las tablas y emplear el versionado de tablas y catálogos para diversas necesidades operativas.

Capítulo 11, "Streaming con Apache Iceberg"

Uso de herramientas como Apache Spark, Flink y AWS Glue para el procesamiento de datos en streaming en tablas Iceberg.

Capítulo 12, "Gobernanza y seguridad"

Exploración de la aplicación de la gobernanza y la seguridad a varios niveles en las tablas de Apache Iceberg, como el almacenamiento, las capas semánticas y los catálogos.

Capítulo 13, "Migrar a Apache Iceberg"

Directrices para transformar conjuntos de datos existentes de distintos tipos de archivos y bases de datos en tablas de Apache Iceberg.

Capítulo 14, "Casos de uso de Apache Iceberg en el mundo real"

Un vistazo a las aplicaciones de Apache Iceberg en el mundo real, incluidos los cuadros de mando de inteligencia empresarial y la implementación de la captura de datos de cambios.

Cómo utilizar este libro

Este libro está meticulosamente elaborado para mejorar tu comprensión y tus habilidades prácticas en Apache Iceberg, tanto si eres un principiante como un usuario avanzado. Aunque el libro está estructurado de forma secuencial, permitiéndote construir una base de conocimientos exhaustiva de principio a fin, su diseño también da cabida a una lectura flexible. Cada capítulo es autocontenido, lo que te permite sumergirte directamente en temas específicos o casos de uso de interés sin tener que leer los capítulos precedentes. Este enfoque convierte a este libro en un recurso inestimable tanto para el aprendizaje sistemático como para la adquisición de conocimientos específicos, justo a tiempo.

A lo largo del libro, encontrarás referencias a fragmentos de código y ejemplos prácticos. Para apoyar tu experiencia de aprendizaje, hemos creado un repositorio GitHub dedicado al libro. Este repositorio está organizado por capítulos, asegurando que tengas fácil acceso a todos los materiales de referencia necesarios, fragmentos de código y ejemplos pertinentes al contenido de cada capítulo. Tanto si buscas comprender los matices arquitectónicos de Apache Iceberg como si quieres implementar funcionalidades específicas, el repositorio sirve como herramienta complementaria para mejorar tu aprendizaje y la aplicación de los conceptos tratados en el libro. Para obtener aún más contenido, incluido un capítulo extra sobre las API Java/Python de Iceberg y resúmenes adicionales de casos de uso de Iceberg, visita este repositorio complementario.

Tanto si decides leer esta guía de principio a fin como si te centras en capítulos concretos en función de tus necesidades inmediatas, este libro está diseñado para ser un recurso completo y accesible sobre Apache Iceberg, enriquecido con componentes prácticos accesibles a través de nuestro repositorio GitHub adjunto.

Comentarios y preguntas

Valoramos tus comentarios y preguntas. Si tienes algún problema, alguna sugerencia de mejora o simplemente quieres ponerte en contacto con nosotros, no dudes en enviarnos un correo electrónico a tech-advocacy@dremio.com. También te invitamos a seguirnos y conectar con nosotros en LinkedIn.

A continuación encontrarás una lista de recursos adicionales para que conozcas Apache Iceberg y te involucres en la comunidad Apache Iceberg:

Convenciones utilizadas en este libro

En este libro se utilizan las siguientes convenciones tipográficas:

Cursiva

Indica nuevos términos, URL, direcciones de correo electrónico, nombres de archivo y extensiones de archivo.

Constant width

Se utiliza en los listados de programas, así como dentro de los párrafos para referirse a elementos del programa como nombres de variables o funciones, bases de datos, tipos de datos, variables de entorno, sentencias y palabras clave.

Constant width bold

Muestra comandos u otros textos que deben ser tecleados literalmente por el usuario.

Constant width italic

Muestra el texto que debe sustituirse por valores proporcionados por el usuario o por valores determinados por el contexto.

Consejo

Este elemento significa un consejo o sugerencia.

Nota

Este elemento significa una nota general.

Utilizar ejemplos de código

Puedes descargar material complementario (ejemplos de código, ejercicios, etc.) en https://oreil.ly/supp-guide-apache-iceberg. Para obtener aún más contenido, incluido un capítulo extra sobre las API Java/Python de Iceberg y descripciones adicionales de casos de uso de Iceberg, visita https://oreil.ly/apache-ice_more-content.

Si tienes una pregunta técnica o un problema al utilizar los ejemplos de código, envía un correo electrónico a

Este libro está aquí para ayudarte a hacer tu trabajo. En general, si se ofrece código de ejemplo con este libro, puedes utilizarlo en tus programas y documentación. No es necesario que te pongas en contacto con nosotros para pedirnos permiso, a menos que estés reproduciendo una parte importante del código. Por ejemplo, escribir un programa que utilice varios trozos de código de este libro no requiere permiso. Vender o distribuir ejemplos de los libros de O'Reilly sí requiere permiso. Responder a una pregunta citando este libro y el código de ejemplo no requiere permiso. Incorporar una cantidad significativa de código de ejemplo de este libro en la documentación de tu producto sí requiere permiso.

Agradecemos la atribución, pero en general no la exigimos. Una atribución suele incluir el título, el autor, la editorial y el ISBN. Por ejemplo "Apache Iceberg: La Guía Definitiva" de Tomer Shiran, Jason Hughes y Alex Merced (O'Reilly). Copyright 2024 O'Reilly Media Inc., 978-1-098-14863-8".

Si crees que el uso que haces de los ejemplos de código no se ajusta al uso legítimo o al permiso concedido anteriormente, no dudes en ponerte en contacto con nosotros en

Aprendizaje en línea O'Reilly

Nota

Durante más de 40 años, O'Reilly Media ha proporcionado formación tecnológica y empresarial, conocimientos y perspectivas para ayudar a las empresas a alcanzar el éxito.

Nuestra red única de expertos e innovadores comparten sus conocimientos y experiencia a través de libros, artículos y nuestra plataforma de aprendizaje online. La plataforma de aprendizaje en línea de O'Reilly te ofrece acceso bajo demanda a cursos de formación en directo, rutas de aprendizaje en profundidad, entornos de codificación interactivos y una amplia colección de textos y vídeos de O'Reilly y de más de 200 editoriales. Para más información, visita https://oreilly.com.

Cómo contactar con nosotros

Dirige tus comentarios y preguntas sobre este libro a la editorial:

Tenemos una página web para este libro, donde se enumeran erratas, ejemplos y cualquier información adicional. Puedes acceder a esta página en https://oreil.ly/apache-iceberg.

Para obtener noticias e información sobre nuestros libros y cursos, visita https://oreilly.com.

Encuéntranos en LinkedIn: https://linkedin.com/company/oreilly-media.

Míranos en YouTube: https://youtube.com/oreillymedia.

Agradecimientos

Nos gustaría expresar nuestra más profunda gratitud a Dremio y a O'Reilly Media por brindarnos la oportunidad de escribir este libro. En especial, nos gustaría extender nuestra gratitud a nuestro editor de O'Reilly, Gary O'Brien, que siempre nos ayudó a mantenernos en el buen camino durante el proceso de escritura. Gracias a nuestros revisores técnicos, que nos hicieron responsables en todo momento, asegurándose de que el libro fuera preciso y completo: Kamran Ali, Jai Balani, Michal Gancarski, Mahdi Karabiben, Kevin Kho, Marc Laforet, Max Schultze y Simeon Schwarz. Gracias también por las aportaciones de Dipankar Mazumdar.

También damos las gracias sinceramente a nuestras familias, que fueron pacientes con nosotros durante las largas noches que pasamos escribiendo y editando este libro. Por último, nos gustaría dar las gracias a la comunidad Apache Iceberg por desarrollar uno de los proyectos más apasionantes y transformadores en materia de datos.

Gracias por elegir Apache Iceberg: La Guía Definitiva. Esperamos que la encuentres informativa y amena. ¡Sumerjámonos juntos en el apasionante mundo de Apache Iceberg!

¡Feliz lectura!

Get Apache Iceberg: La Guía Definitiva now with the O’Reilly learning platform.

O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.

Start your free trial