Arquitectura práctica de casas en el lago

Prefacio

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Es 2024, ¡el año de la IA!

Igual que en 2023 y 2022, y unos cuantos años antes.

En el mundo actual, la IA está en todas partes. Pero la IA necesita datos. Datos de buena calidad. Datos que se puedan descubrir. Datos que los humanos y las máquinas puedan consumir fácilmente.

Pero, ¿cómo nos aseguramos de que esos datos estén disponibles?

Implementando plataformas de datos robustas que ingieran, almacenen y mantengan estos datos para democratizarlos con todos sus usuarios.

Las mejores organizaciones de hoy en día, impulsadas por los datos, aprovechan la IA y dependen en gran medida de los datos. Han invertido en plataformas de datos modernas que soportan sus demandas actuales y futuras. Las plataformas de datos modernas necesitan arquitecturas de datos modernas, como los lakehouses, para dar soporte a sus necesidades de BI a IA.

La arquitectura Lakehouse -el tema principal de este libro- aprovecha los avances tecnológicos para simplificar el diseño de plataformas de datos y permite a las organizaciones construir plataformas escalables y abiertas. Lakehouse ha ganado popularidad en los últimos años, con varias organizaciones, vendedores de productos y profesionales de los datos que implementan sus plataformas utilizando esta arquitectura. No habrá mejor momento para explorar, comprender y evaluar lakehouse para tus casos de uso, y este libro puede ayudarte a iniciar tu viaje.

¿Quién debería leer este libro?

Este libro está dirigido a todos los profesionales de los datos que manejan grandes volúmenes de datos y son responsables de diseñar e implantar plataformas de datos modernas.

Este libro es una guía completa para los arquitectos de datos y puede ayudarles a comprender las consideraciones clave, establecer principios de diseño y tomar decisiones críticas al implantar una plataforma de datos. Para los ingenieros de datos, este libro les ayudará a comprender conceptos clave como los formatos de tablas abiertas, la evolución de esquemas y el viaje en el tiempo, que pueden aprovechar al implementar canalizaciones de datos. Otras personas relacionadas con los datos, como los analistas y científicos de datos, aprenderán sobre temas cruciales como la gestión de datos en lagos, el descubrimiento de datos, el control de acceso y la gestión de datos confidenciales.

Los profesionales de los datos que sean nuevos en la arquitectura lakehouse pueden leer este libro para aprender los conceptos básicos. Los arquitectos de datos e ingenieros de datos experimentados pueden utilizar esta guía para tomar decisiones de diseño clave durante la fase de diseño. Y los líderes de datos pueden consultar este libro cuando planifiquen sus iniciativas lakehouse.

Por qué escribí este libro

Cuando empecé a trabajar en un proyecto lakehouse hace unos años, los formatos de tabla abierta aún estaban evolucionando, y no todos los servicios en la nube admitían tecnologías lakehouse como los formatos de tabla abierta. Tampoco muchos profesionales de los datos conocían las ventajas de la arquitectura Lakehouse, ni comprendían cómo podía ayudar a simplificar su panorama de datos. No había mucho material disponible que sirviera de guía para diseñar e implantar una casa del lago utilizando distintas tecnologías en plataformas en la nube. Fue entonces cuando empecé a bloguear sobre estos temas para compartir lo que había aprendido y explorado. Cuando tuve la oportunidad de escribir este libro sobre el mismo tema, pensé que era el momento adecuado para compartir mis conocimientos y observaciones con un público más amplio.

Este libro es mi intento de explicar con palabras sencillas cómo diseñar e implantar un lago de datos. He proporcionado varios ejemplos en AWS, Azure, GCP, Databricks, Snowflake y otras plataformas para explicar diversos procesos de gestión y gobierno de datos. Espero que este libro te resulte útil para implantar tus plataformas de datos.

Navegar por este libro

Este libro consta de nueve capítulos, cada uno de los cuales abarca un aspecto distinto del diseño y la implantación de una plataforma de datos de lago.

El Capítulo 1 te presenta la arquitectura Lakehouse y los conceptos clave, características y ventajas de implantar una plataforma de datos utilizando la arquitectura Lakehouse. Este capítulo también te ayudará a comprender los conceptos fundamentales para construir plataformas de datos.

El Capítulo 2 trata de las arquitecturas tradicionales, como los almacenes de datos y los lagos de datos, y explica en qué se diferencia la arquitectura lakehouse de estos patrones. Si no conoces los almacenes de datos o los lagos de datos, este capítulo será un buen manual para comprender estas arquitecturas.

El Capítulo 3 explora la capa de almacenamiento: el corazón del lago. Este capítulo explica los formatos de tabla abiertos como Apache Iceberg, Apache Hudi y Delta Lake. También describe las consideraciones clave para evaluar los distintos formatos de archivos y tablas con el fin de seleccionar el adecuado para tu caso de uso.

El Capítulo 4 se centra en los catálogos de datos y te ayudará a comprender el proceso general de gestión de metadatos dentro de una casa de lago. Proporciona una visión general de los servicios de catálogos de datos en las plataformas AWS, Azure y GCP, junto con algunos productos populares de terceros.

El Capítulo 5 explora las distintas opciones de motores de cálculo para las actividades de ingeniería y consumo de datos. Describe los factores que influirán en tu proceso de toma de decisiones a la hora de seleccionar el motor de cálculo adecuado.

El Capítulo 6 trata de los aspectos de gobierno y seguridad de los datos y activos de IA dentro de una casa del lago. También enumera las actividades que debes realizar, en función de tu función, para mantener el gobierno y la seguridad de los datos dentro de la casa del lago.

El Capítulo 7 ofrece una visión global del diseño de tu casa del lago combinando almacenamiento, computación y catálogos de datos. Este capítulo es fundamental para los arquitectos de datos que tienen que tomar decisiones durante el proceso de diseño. Al final de este capítulo, encontrarás un cuestionario que puedes consultar durante las conversaciones con las distintas partes interesadas.

Mientras que en todos los capítulos anteriores se habla de la implantación ideal de una caseta de lago, en el Capítulo 8 se hace un repaso a la realidad destacando los retos a los que puedes enfrentarte al implantar una caseta de lago. Este capítulo te presenta escenarios ideales frente a escenarios reales y te explica cómo abordarlos para construir una casa lago en el mundo real.

El último capítulo, el 9, explora el futuro de las casas del lago. Presenta algunos de los nuevos formatos de archivos y tablas, productos innovadores y nuevos enfoques para implantar una plataforma de casas del lago.

Aprendizaje en línea O'Reilly

Nota

Durante más de 40 años, O'Reilly Media ha proporcionado formación tecnológica y empresarial, conocimientos y perspectivas para ayudar a las empresas a alcanzar el éxito.

Nuestra red única de expertos e innovadores comparten sus conocimientos y experiencia a través de libros, artículos y nuestra plataforma de aprendizaje online. La plataforma de aprendizaje en línea de O'Reilly te ofrece acceso bajo demanda a cursos de formación en directo, rutas de aprendizaje en profundidad, entornos de codificación interactivos y una amplia colección de textos y vídeos de O'Reilly y de más de 200 editoriales. Para más información, visita https://oreilly.com.

Convenciones utilizadas en este libro

En este libro se utilizan las siguientes convenciones tipográficas:

Cursiva

Indica nuevos términos, URL, direcciones de correo electrónico, nombres de archivo y extensiones de archivo.

Constant width

Se utiliza en los listados de programas, así como dentro de los párrafos para referirse a elementos del programa como nombres de variables o funciones, bases de datos, tipos de datos, variables de entorno, sentencias y palabras clave.

Consejo

Este elemento significa un consejo o sugerencia.

Nota

Este elemento significa una nota general.

Advertencia

Este elemento indica una advertencia o precaución.

Cómo contactar con nosotros

Dirige tus comentarios y preguntas sobre este libro a la editorial:

• O'Reilly Media, Inc.
• 1005 Gravenstein Highway Norte
• Sebastopol, CA 95472
• 800-889-8969 (en Estados Unidos o Canadá)
• 707-827-7019 (internacional o local)
• 707-829-0104 (fax)
• [e-mail]
• https://oreilly.com/about/contact.html

Tenemos una página web para este libro, donde se enumeran erratas, ejemplos y cualquier información adicional. Puedes acceder a esta página en https://oreil.ly/lakehouse-architecture.

Para obtener noticias e información sobre nuestros libros y cursos, visita https://oreilly.com.

Encuéntranos en LinkedIn: https://linkedin.com/company/oreilly-media

Míranos en YouTube: https://youtube.com/oreillymedia

Agradecimientos

Comencé accidentalmente mi viaje por los datos hace un par de décadas. Mientras estaba interesado en convertirme en animador, conseguí un trabajo como desarrollador ETL en prácticas. Estos últimos 20 años han girado en torno al aprendizaje, la comprensión y la exploración de datos en diversas formas. Muchas personas me han ayudado, apoyado y animado durante este viaje, y este libro es el resultado de sus esfuerzos.

Estoy profundamente agradecido a todos mis colegas, mentores y clientes por brindarme la oportunidad de trabajar en algunos de los proyectos de datos y análisis más apasionantes. Un gran saludo a las distintas comunidades de datos, grupos de usuarios, creadores de contenidos y autores de libros de todo el mundo por compartir sus conocimientos. Todos vosotros me habéis inspirado para escribir este libro.

Mi más sincero agradecimiento a Shivam Panicker, Sivakumar Ponnusamy y Ankush Gautam, los revisores técnicos de este libro, por sus ideas y sugerencias, que han mejorado el libro y añadido realmente más valor para los lectores.

Escribir un libro sobre mi tema favorito es un sueño hecho realidad. Gracias a todo el equipo de O'Reilly por esta oportunidad única en la vida. Me gustaría dar las gracias a

• Andy Kwan, mi editor de adquisiciones, por confiar en mí para escribir este libro y ayudarme con la propuesta inicial y el proceso de aprobación.

• Jeff Bleiel, mi editor de desarrollo, por apoyarme a lo largo de mi viaje de escritura de libros. Este libro no habría sido posible sin sus ediciones, sugerencias y ánimos.

• Nicole Taché, por corregir y mejorar la forma de este libro.

• Christopher Faucher, mi editor de producción, por coordinar y gestionar el proceso de producción y dar los toques finales a este libro.

Por último, me gustaría dar las gracias a mi familia -mis padres, Ashok y Archana, y mi hermana mayor Kirti- por sus sacrificios para ayudarme a llegar a esta etapa de mi vida. Vishakha, mi esposa, ha sido mi pilar de fortaleza, y Soham, mi hijo, mi mayor apoyo. Este libro no habría sido posible sin su continuo aliento.

Por último, pero no por ello menos importante, un gran agradecimiento a ti, lector de este libro, por invertir tu tiempo en leerlo.