Escalando Python con Ray

Capítulo 11. Uso de GPU y aceleradores con Ray

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Aunque Ray es se centra principalmente en el escalado horizontal, a veces utilizar aceleradores especiales como las GPU puede ser más barato y rápido que simplemente lanzar más nodos de cálculo "normales" a un problema. Las GPU son muy adecuadas para operaciones vectorizadas que realizan la misma operación en trozos de datos a la vez. El ML, y más en general el álgebra lineal, son algunos de los principales casos de uso,¹ ya que el aprendizaje profundo es increíblemente vectorizable.

A menudo, los recursos de la GPU son más caros que los de la CPU, por lo que la arquitectura de Ray facilita solicitar recursos de la GPU sólo cuando es necesario. Para aprovechar las ventajas de las GPU, necesitas utilizar librerías especializadas, y como estas librerías tratan con acceso directo a la memoria, sus resultados no siempre son serializables. En el mundo de la computación GPU, NVIDIA y, en menor medida, AMD son las dos opciones principales, con diferentes bibliotecas para su integración.

¿Para qué sirven las GPU?

No todos los problemas son adecuados para la aceleración en la GPU. Las GPUs son especialmente buenas para realizar el mismo cálculo en muchos puntos de datos al mismo tiempo. Si un problema se adapta bien a la vectorización, hay muchas posibilidades de que las GPU se adapten biena él.

Los siguientes son problemas ...