Aprender Spark, 2ª Edición

Capítulo 12. Epílogo: Apache Spark 3.0

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En el momento en que escribimos este libro, Apache Spark 3.0 aún no había sido lanzado oficialmente; todavía estaba en desarrollo, y nos pusimos a trabajar con Spark 3.0.0-preview2. Todos los ejemplos de código de este libro se han probado con Spark 3.0.0-preview2, y no deberían funcionar de forma diferente con la versión oficial de Spark 3.0. Siempre que ha sido posible en los capítulos, cuando ha sido relevante, hemos mencionado cuando las características eran nuevas adiciones o comportamientos en Spark 3.0. En este capítulo, repasamos los cambios.

Las correcciones de errores y las mejoras de funciones son numerosas, por lo que, en aras de la brevedad, sólo destacamos una selección de los cambios y funciones notables relativos a los componentes de Spark. Algunas de las nuevas funciones son, bajo el capó, avanzadas y van más allá del alcance de este libro, pero las mencionamos aquí para que puedas explorarlas cuando la versión esté disponible de forma general.

Spark Core y Spark SQL

Veamos primero qué novedades hay bajo las cubiertas. Se han introducido una serie de cambios en Spark Core y en el motor Spark SQL para ayudar a acelerar las consultas. Una forma de agilizar las consultas es leer menos datos mediante la poda dinámica de particiones. Otra es adaptar y optimizar los planes de consulta durante la ejecución.

Poda ...