Escalando Python con Dask

Apéndice A. Conceptos clave del sistema para usuarios de Dask

En este libro hemos tratado brevemente algunos conceptos de sistemas distribuidos, pero cuando te prepares para salir por tu cuenta, es una buena idea repasar algunos de los conceptos básicos sobre los que se basa Dask. En este apéndice, aprenderás más sobre los principios clave utilizados en Dask y cómo afectan al código que escribes sobre Dask.

Prueba

Las pruebas son una parte que a menudo se pasa por alto de la ciencia y la ingeniería de datos. Algunas de nuestras herramientas, como SQL y los cuadernos Jupyter, no fomentan las pruebas ni facilitan su realización, pero esto no nos exime de la responsabilidad de probar nuestro código. La preocupación por la privacidad de los datos puede añadir otra capa de desafío, cuando no queremos almacenar datos de usuario para las pruebas, lo que nos obliga a esforzarnos por crear datos "falsos" para las pruebas o dividir nuestro código en componentes comprobables en los que no necesitamos datos de usuario.

Pruebas manuales

A menudo realizamos algún tipo de prueba manual mientras escribimos software o herramientas de datos. Esto puede incluir simplemente ejecutar la herramienta y echar un vistazo a los resultados para ver si parecen razonables. Las pruebas manuales llevan mucho tiempo y no se pueden repetir automáticamente, por lo que, aunque son estupendas durante el desarrollo, son insuficientes para los proyectos de larga duración.

Pruebas unitarias

Las pruebas unitarias ...