Aprendizaje profundo a escala

Parte II. Formación distribuida

Esta sección profundiza en los detalles de la formación distribuida, ofreciendo una comprensión exhaustiva de sus conceptos fundamentales y aplicaciones prácticas. Comienza presentando los sistemas distribuidos y los retos de la comunicación, que es esencial comprender para escalar los recursos de hardware de forma eficaz. Partiendo de esta base, la sección se extiende en los marcos teóricos de las técnicas de entrenamiento distribuido del aprendizaje profundo y explora en profundidad el paralelismo de datos, complementado con ejercicios prácticos. Además, proporciona conocimientos sobre el escalado del entrenamiento de modelos mediante diversas técnicas de paralelismo, como el paralelismo de modelos, de canalización, de tensor e híbrido, destacando sus retos y limitaciones mediante experiencias prácticas. Por último, la sección consolida estos conocimientos, ofreciendo experiencia en la realización del paralelismo multidimensional para un aprendizaje profundo eficiente a escala.