Aprendizaje profundo a escala

Capítulo 9. Adquirir experiencia práctica con la ampliación a todas las dimensiones

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Enel Capítulo 8 se trataron los conceptos teóricos y los conocimientos básicos que necesitas para escalar el entrenamiento de modelos más allá del paralelismo de datos, explorando técnicas para el paralelismo de modelos, canalizaciones, tensoriales e híbridos. Este capítulo continúa esa discusión y proporciona experiencia práctica con el uso de estos paradigmas de entrenamiento distribuido. También revisarás algunas herramientas y bibliotecas útiles para el escalado vertical y seguirás explorando DeepSpeed (presentado en el Ejercicio Práctico nº 5 del Capítulo 7) a través de una lente de escalado vertical. Al final del capítulo, encontrarás un ejercicio práctico para lograr un entrenamiento híbrido multidimensional más automatizado utilizando DeepSpeed.

Ejercicios prácticos: Modelo, Tensor, Canalización y Paralelismo Híbrido

En esta serie de Ejercicios Prácticos, construirás un motor de recomendación para películas. Aprovecharás el modelo DeepFM para explorar implementaciones simplistas de escalado vertical. Ten en cuenta que, para que las implementaciones sean más sencillas y fáciles de seguir, en estos ejercicios se ha omitido en gran medida el uso de herramientas de monitoreo y creación de perfiles. Sin embargo, las herramientas y el software analizados en los Capítulos 4 y ...