Chispa de alto rendimiento

Capítulo 8. Pruebas y validación

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Las pruebas automatizadas en el mundo de Spark a menudo se pasan por alto, pero con los largos trabajos por lotes y la compleja configuración del streaming, verificar manualmente la funcionalidad lleva mucho tiempo y es propenso a errores.Disponer de pruebas eficaces nos permite desarrollar más rápido y simplificar a la hora de refactorizar para mejorar el rendimiento.

Las pruebas que verifican el rendimiento plantean algunos retos adicionales, sobre todo en sistemas distribuidos. Sin embargo, utilizando los contadores de Spark podemos obtener las estadísticas de tiempo de ejecución de todos los trabajadores, el número de registros procesados y el número de registros barajados. Estos contadores pueden servir para el mismo propósito que los tiempos del sistema en un sistema de una sola máquina.

Las pruebas son un medio excelente para detectar los tipos de errores que podemos concebir. Más allá de eso, el mundo real a menudo es capaz de idear nuevas y emocionantes formas de hacer que nuestro software falle, y a veces no es tan obvio como una excepción de puntero nulo. En estos casos, es importante que seamos capaces de detectar el estado de error, para evitar tomar decisiones con modelos defectuosos.

Pruebas unitarias

Las pruebas unitarias nos permiten centrarnos en probar pequeños componentes de funcionalidad con dependencias complejas ...