Escalando Python con Dask

Capítulo 7. Añadir Estado Modificable/Mutablecon Actores Dask

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Dask se centra en escalar casos de uso analítico, pero puedes utilizarlo para escalar muchos otros tipos de problemas. Hasta ahora, la mayoría de las herramientas que has utilizado en Dask son funcionales. La programación funcional significa que las llamadas anteriores no afectan a las futuras. Las funciones sin estado son habituales en sistemas distribuidos como Dask, ya que pueden volver a ejecutarse con seguridad varias veces en caso de fallo. La actualización de los pesos de un modelo durante el entrenamiento es un ejemplo de estado habitual en la ciencia de datos. Una de las formas más comunes de manejar el estado en un sistema distribuido es con el modelo actor. Este capítulo presentará tanto el modelo de actor general como la implementación específica de Dask.

Los futuros Dask ofrecen un estado distribuido no mutable , en el que los valores se almacenan en los trabajadores. Sin embargo, esto no funciona bien para situaciones en las que quieras actualizar el estado, como cambiar el saldo de una cuenta bancaria (en el Ejemplo 7-1 se ilustra una solución alternativa), o actualizar los pesos del modelo de aprendizaje automático durante el entrenamiento.

Consejo

Los actores de Dask tienen una serie de limitaciones, y creemos que en muchos casos la respuesta correcta es mantener el estado mutable