Procesamiento de flujos con Apache Spark

Capítulo 26. Ajuste del rendimiento

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Las características de rendimiento de una aplicación de streaming distribuido suelen estar dictadas por complejas relaciones entre los factores internos y externos que intervienen en su funcionamiento.

Los factores externos están ligados al entorno en el que se ejecuta la aplicación, como los hosts que constituyen el clúster y la red que los conecta. Cada host proporciona recursos como CPU, memoria y almacenamiento con determinadas características de rendimiento. Por ejemplo, podemos tener discos magnéticos que suelen ser lentos pero ofrecen un almacenamiento de bajo coste o rápidas matrices de unidades de estado sólido (SSD) que proporcionan un acceso muy rápido a un mayor coste por unidad de almacenamiento. O podemos estar utilizando almacenamiento en la nube, que está ligado a la capacidad de la red y a la conexión a Internet disponible. Del mismo modo, los productores de datos suelen estar fuera del control de la aplicación de streaming.

Bajo factores internos, consideramos la complejidad de los algoritmos implementados, los recursos asignados a la aplicación y la configuración particular que dicta cómo debe comportarse la aplicación.

En este capítulo, primero trabajamos para comprender mejor los factores de rendimiento en Spark Streaming. Después, estudiamos varias estrategias que puedes aplicar para ajustar el rendimiento ...