Escalando Python con Dask

Capítulo 10. Dask con GPU y otrosrecursos especiales

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

A veces, la respuesta a nuestro problema de escala no es lanzar más ordenadores, sino lanzar diferentes tipos de recursos. Un ejemplo de esto podrían ser diez mil monos intentando reproducir las obras de Shakespeare, frente a un solo Shakespeare.¹ Aunque el rendimiento varía, algunas pruebas comparativas han demostrado una mejora de hasta el 85% en los tiempos de entrenamiento de los modelos cuando se utilizan las GPU frente a las CPU. Siguiendo su tradición modular, la lógica GPU de Dask se encuentra en las bibliotecas y el ecosistema que la rodean. Las bibliotecas pueden ejecutarse en una colección de GPU workers o paralelizar el trabajo en distintas GPU de un mismo host.

La mayor parte del trabajo que hacemos en el ordenador se realiza en la CPU. Las GPU se crearon para visualizar vídeo, pero implican realizar grandes cantidades de operaciones vectorizadas en coma flotante (por ejemplo, no enteras). Con las operaciones vectorizadas, la misma operación se aplica en paralelo sobre grandes conjuntos de datos, como un map. Las Unidades de Procesamiento Tensorial (TPU) son similares a las GPU, salvo que no se utilizan también para gráficos.

Para nuestros propósitos, en Dask, podemos pensar que las GPU y las TPU están especializadas en descargar grandes cálculos vectorizados, pero hay muchos otros tipos de aceleradores. ...