Lago Delta: En marcha

Capítulo 3. Operaciones básicas con tablas delta

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Las tablas Delta pueden crearse de varias formas. La forma de crear las tablas depende en gran medida de tu familiaridad con el conjunto de herramientas. Si eres principalmente un desarrollador de SQL, puedes utilizar CREATE TABLE de SQL para crear una tabla Delta, mientras que los usuarios de Python pueden preferir la API DataFrameWriter o la API DeltaTableBuilder de grano fino y fácil de usar.

Al crear tablas, puedes definir columnas GENERATED, cuyos valores se generan automáticamente basándose en una función especificada por el usuario sobre otras columnas de la tabla Delta. Aunque se aplican algunas restricciones, las columnas generadas son una potente forma de enriquecer los esquemas de tus tablas Delta.

Las tablas Delta pueden leerse mediante SQL ANSI estándar o utilizando la popular API PySpark DataFrameReader. Puedes escribir en una tabla Delta utilizando la clásica sentencia SQL INSERT, o puedes añadir un DataFrame a la tabla. Por último, aprovechar la opción SQL COPY INTO es una forma estupenda de añadir grandes cantidades de datos rápidamente.

Particionar una tabla Delta en función de tu patrón de consulta más frecuente puede mejorar drásticamente el rendimiento de tus consultas y DML. Los archivos individuales que componen tu tabla Delta se organizarán en subdirectorios alineados con los valores de tus ...