Procesamiento de flujos con Apache Spark

Capítulo 14. Monitoreo de aplicaciones de streaming estructurado

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

El monitoreo de aplicaciones es una parte integral de cualquier Implementación robusta. El monitoreo proporciona información sobre las características de rendimiento de la aplicación a lo largo del tiempo, mediante la recopilación y el procesamiento de métricas que cuantifican diferentes aspectos del rendimiento de la aplicación, como la capacidad de respuesta, el uso de recursos y los indicadores específicos de las tareas.

Las aplicaciones de streaming tienen requisitos estrictos en cuanto a tiempos de respuesta y rendimiento. En el caso de las aplicaciones distribuidas como Spark, el número de variables que tenemos que tener en cuenta durante la vida de la aplicación se multiplica por la complejidad de la ejecución en un clúster de máquinas. En el contexto de un clúster, tenemos que controlar el uso de recursos, como la CPU, la memoria y el almacenamiento secundario en diferentes hosts, desde la perspectiva de cada host, así como una visión consolidada de la aplicación en ejecución.

Por ejemplo, imagina una aplicación que se ejecuta en 10 ejecutores diferentes. El indicador de uso total de memoria muestra un aumento del 15%, que podría estar dentro de la tolerancia esperada para esta aplicación, pero entonces, observamos que el aumento procede de un solo nodo. Este desequilibrio debe investigarse, ...