Apache Iceberg: La Guía Definitiva

Capítulo 5. Catálogos Iceberg

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En este capítulo, nos sumergiremos en los catálogos de Iceberg. Ya has visto cómo un catálogo es un componente crítico de Iceberg que le permite garantizar la coherencia con múltiples lectores y escritores y descubrir qué tablas están disponibles en el entorno. En este capítulo, trataremos:

• Los requisitos de un catálogo en general, y los requisitos adicionales recomendados para el uso de un catálogo en producción

• Las diferentes implementaciones del catálogo, incluyendo pros, contras y cómo configurar Spark para utilizar el catálogo

• En qué situaciones puedes plantearte migrar catálogos

• Cómo migrar de un catálogo a otro

Requisitos de un catálogo Iceberg

Iceberg proporciona una interfaz de catálogo que requiere la implementación de un conjunto de funciones, principalmente las de listar tablas existentes, crear tablas, eliminar tablas, comprobar si una tabla existe y renombrar tablas.

Al tratarse de una interfaz, tiene múltiples implementaciones, como Hive Metastore, AWS Glue y un catálogo de sistema de archivos (Hadoop). Además del requisito de implementar las funciones definidas en la interfaz, el principal requisito de alto nivel para que una implementación de catálogo funcione como un catálogo Iceberg es asignar una ruta de tabla (por ejemplo, db1.table1) a la ruta de archivo del archivo de metadatos que tiene el estado actual de ...