Capítulo 18. Monitoreo y depuración
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Este capítulo de cubre los detalles clave que necesitas para monitorizar y depurar tus Aplicaciones Spark. Para ello, recorreremos la interfaz de usuario de Spark con una consulta de ejemplo diseñada para ayudarte a comprender cómo rastrear tus propios trabajos a través del ciclo de vida de ejecución. El ejemplo que veremos también te ayudará a comprender cómo depurar tus trabajos y dónde es probable que se produzcan errores.
El panorama del monitoreo
En algún momento, necesitarás monitorizar tus trabajos Spark para comprender dónde se están produciendo problemas en ellos. Merece la pena repasar las distintas cosas que podemos monitorizar y esbozar algunas de las opciones para hacerlo. Revisemos los componentes que podemos monitorizar (ver Figura 18-1).
- Aplicaciones y trabajos de Spark
-
La primera cosa que querrás empezar a monitorizar cuando depures o simplemente comprendas mejor cómo se ejecuta tu aplicación en el clúster es la interfaz de usuario de Spark y los registros de Spark. Éstos proporcionan información sobre las aplicaciones que se están ejecutando actualmente a nivel de conceptos en Spark, como RDDs y planes de consulta. A lo largo de este capítulo hablaremos en detalle de cómo utilizar estas herramientas de monitoreo de Spark.
- JVM
-
Spark ejecuta los ejecutores en Máquinas Virtuales Java (JVM) individuales. Por ...
Get Spark: La Guía Definitiva now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
