Escalando Python con Dask

Capítulo 12. Puesta en producción de Dask: cuadernos, implementación, ajuste y monitoreo

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En este capítulo hemos agrupado la mayoría de las cosas que creemos que van a ser fundamentales para que pases de tu portátil a producción. Los blocs de notas y las Implementaciones van de la mano, ya que la interfaz de blocs de notas de Dask simplifica enormemente muchos aspectos del uso de sus Implementaciones distribuidas. Aunque no es necesario que utilices blocs de notas para acceder a Dask, y en muchos casos los blocs de notas tienen serias desventajas, para casos de uso interactivo a menudo es difícil superar las compensaciones. El trabajo interactivo/exploratorio tiene una forma de convertirse en flujos de trabajo de misión crítica permanente, y cubrimos los pasos necesarios para convertir el trabajo exploratorio en implementaciones de producción.

Puedes implementar Dask de muchas formas, desde ejecutarlo sobre otros motores de computación distribuida como Ray hasta implementarlo en YARN o en una colección de máquinas sin procesar. Una vez que hayas desplegado tu trabajo Dask, es probable que tengas que ajustarlo para no utilizar todo el presupuesto de AWS de tu empresa en un solo trabajo. Y, por último, antes de que puedas abandonar un trabajo, tendrás que configurar el monitoreo, para que sepas cuándo está roto.

Nota

Si sólo estás aquí para aprender a utilizar Dask ...