book

Aprendizaje profundo a escala

by Suneeta Mall

September 2024

Intermediate to advanced

448 pages

13h 5m

Spanish

O'Reilly Media, Inc.

Audio summary available

Read now

Unlock full access

Por qué es importante la ampliaciónA quién va dirigido este libroCómo está organizado este libroIntroducciónParte I: Conceptos Fundamentales del Aprendizaje ProfundoParte II: Formación distribuidaParte III: Escalado extremoQué necesitas para utilizar este libroCómo configurar tu entorno para los ejercicios prácticosUtilizar ejemplos de códigoConvenciones utilizadas en este libroAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
La filosofía del escaladoLa Ley General de la EscalaHistoria de la Ley de EscaladoSistemas escalablesLa naturaleza como sistema escalableNuestro Sistema Visual: Una inspiración biológicaInteligencia Artificial: La Evolución de los Sistemas AprendiblesSe necesitan cuatro para bailar el tangoTendencias en evolución del aprendizaje profundoLa escala en el contexto del aprendizaje profundoSeis consideraciones sobre el desarrolloConsideraciones sobre la ampliaciónResumen
El papel de los datos en el aprendizaje profundoFlujo de datos en el aprendizaje profundoEjercicio Práctico nº 1: Implementación del Aprendizaje Profundo MinimalistaDesarrollo del modeloEl espacio implícito/latenteUnas palabras de precauciónEl ritmo de aprendizaje y el panorama de pérdidasConsideración de la escalaPerfilandoEjercicio práctico nº 2: Complejidad con PyTorchDatos de entrada del modelo y tuberíasModeloUtilidades auxiliaresPonerlo todo juntoGráficos de cálculoInferenciaResumen
El Bosón de Higgs del mundo digitalNúmeros de coma flotante: Los Falsos Números ContinuosUnidades de medida de los datosFormatos de almacenamiento de datos: El compromiso entre latencia y rendimientoArquitectura informáticaEl nacimiento del motor electromecánicoMemoria y persistenciaComputación y memoria combinadasLas leyes de escala de la electrónicaAmpliación del cálculo con paralelizaciónHilos frente a Procesos: La unidad de paralelizaciónBibliotecas de aceleración optimizadas para hardwareArquitecturas de ordenadores paralelos: Taxonomías de Flynn y DuncanInformática aceleradaDispositivos aceleradores populares para el aprendizaje profundoCUDAEvaluación comparativa de aceleradoresResumen
Ejercicio Práctico nº 1: GPT-2Objetivos del ejercicioArquitectura ModeloAplicaciónEjecutar el ejemploSeguimiento de experimentosMedir para comprender las limitaciones y reducir la escalaTransición del lenguaje a la visiónEjercicio Práctico nº 2: Modelo de Visión con ConvoluciónArquitectura ModeloEjecutar el ejemploObservacionesCompilación de gráficos con PyTorch 2.0Nuevos componentes de PyTorch 2.0Ejecución de grafos en PyTorch 2.0Técnicas de modelado para escalar el entrenamiento en un único dispositivoRecopilación de gráficosEntrenamiento de precisión reducida y mixtaTrucos de memoria para la eficienciaEficacia del optimizadorTrucos de la tubería de entrada de modelosEscribir kernels personalizados en PyTorch 2.0 con TritonResumen
Sistemas distribuidosLas ocho falacias de la informática distribuidaTeorema de la coherencia, disponibilidad y tolerancia a la partición (CAP)La ley de escalado de los sistemas distribuidosTipos de sistemas distribuidosComunicación en sistemas distribuidosParadigma de comunicaciónPatrones de comunicaciónTecnologías de la comunicaciónMPIInicialización de la comunicación: EncuentroEjercicio prácticoAmpliación de la capacidad informáticaOpciones de configuración de la infraestructuraAprovisionamiento de dispositivos aceleradosGestión de la carga de trabajoRevisión de la infraestructura de aprendizaje profundoVisión general de los principales grupos de aprendizaje profundoSimilitudes entre los sistemas más potentes de la actualidadResumen
Aprendizaje profundo distribuidoDDL centralizadoDDL descentralizadoDimensiones de la ampliación del aprendizaje profundo distribuidoDimensiones de partición del aprendizaje profundo distribuidoTipos de técnicas de aprendizaje profundo distribuidoElegir una técnica de escaladoEscala de mediciónMétricas y puntos de referencia de extremo a extremoMedir de forma incremental en un entorno reproducibleResumen
Partición de datosImplicaciones de las estrategias de muestreo de datosTrabajar con conjuntos de datos remotosIntroducción a las Técnicas Paralelas de DatosEjercicio práctico nº 1: Servidor centralizado de parámetros mediante RCPEjercicio Práctico nº 2: Formación Distribuida Conjunta Trabajador/Servidor Gradiente-Particionado CentralizadoEjercicio práctico nº 3: Formación distribuida asíncrona descentralizadaEstrategias Paralelas Centralizadas y Sincrónicas de DatosDatos en paralelo (DP)Datos Distribuidos en Paralelo (DDP)Paralelismo de Datos con Optimizador de Redundancia Cero (ZeRO-DP)Formación tolerante a fallosEjercicio práctico nº 4: Análisis sintáctico de escenas con DDPEjercicio Práctico nº 5: DDP distribuido fragmentado (ZeRO)Construir tuberías eficientesFormato del conjunto de datosLocal frente a remotoPuesta en escenaHilos frente a procesos: Escalar tus canalizacionesTrucos de memoriaAumentos de datos: CPU frente a GPUAceleración JITEjercicio Práctico nº 6: Eficiencia de la tubería con FFCVResumen

Preguntas que hay que hacerse antes de escalar verticalmenteFundamentos teóricos del escalado verticalRevisar las dimensiones de la ampliaciónPerspectiva de los operadores sobre las dimensiones del paralelismoFlujo de datos y comunicaciones en el escalado verticalElementos básicos para ir más allá de la ADPrimitivas PyTorch para el escalado verticalTrabajar con modelos más grandesPunto de control distribuido: Guardar el modelo particionadoResumen
Ejercicios prácticos: Modelo, Tensor, Canalización y Paralelismo HíbridoEl conjunto de datosEjercicio práctico nº 1: DeepFM de referenciaEjercicio práctico nº 2: Modelar DeepFM en paraleloEjercicio práctico nº 3: DeepFM paralelo a la tuberíaEjercicio Práctico nº 4: DeepFM Paralelo en Pipeline con RPCEjercicio Práctico nº 5: Tensor Paralelo DeepFMEjercicio Práctico nº 6: DeepFM Paralelo HíbridoHerramientas y bibliotecas para el escalado verticalOneFlowFairScaleDeepSpeedFSDPVisión general y comparaciónEjercicio práctico nº 7: Escalado vertical automático con DeepSpeedObservacionesResumen
Las siete V de los datos a través de una lente de aprendizaje profundoLa ley de la escala de los datosCalidad de los datosValidezVariedadVeracidadValor y volumenEl motor de datos y el aprendizaje continuoVolatilidadVelocidadResumen
El desarrollo del modelo es iterativoPlanificación de Experimentos y EjecuciónSimplificar lo complejoIteración rápida para una retroalimentación rápidaIteraciones desacopladasPruebas de viabilidadDesarrollar y ampliar una solución mínimamente viableConfiguración para la ejecución iterativaTécnicas para ampliar tus experimentosAcelerar la convergencia de los modelosAcelerar el aprendizaje mediante la optimización y la automatizaciónAcelerar el aprendizaje aumentando la experienciaAprender con escasa supervisiónEjercicios prácticosEjercicio Práctico nº 1: Aprendizaje por TransferenciaEjercicio práctico nº 2: Optimización de hiperparámetrosEjercicio Práctico nº 3: Destilación de ConocimientosEjercicio Práctico nº 4: Mezcla de ExpertosEjercicio Práctico nº 5: Aprendizaje ContrastivoEjercicio Práctico nº 6: MetaaprendizajeResumen
Revisión de las técnicas de ajusteAjuste fino estándarMetaaprendizaje (Aprendizaje Cero/Poco)Ajuste fino basado en adaptadoresAjuste de bajo rangoAjuste fino eficiente de los parámetros LoRALoRA Cuantificado (QLoRA)Ejercicio práctico: Ajuste fino basado en QLoRADetalles de la implementaciónInferenciaResumen del ejercicioResumen
¿Qué son los modelos de cimentación?Evolución de los modelos de cimentaciónDesafíos en el desarrollo de modelos de cimentaciónComplejidad de la mediciónDesafíos de ImplementaciónPropagación de defectos a todos los modelos posterioresConsideraciones legales y éticasGarantizar la coherencia y la cohesiónModelos Multimodales de Grandes LenguajesProyecciónGated Cross-AttentionCodificación basada en consultasExploración adicionalResumen

Content preview from Aprendizaje profundo a escala

Parte III. Escalado extremo

Esta sección profundiza en los aspectos del escalado de los modelos de aprendizaje profundo para manejar eficazmente grandes cantidades de datos. Comienza haciendo hincapié en un enfoque centrado en los datos, ofreciendo técnicas para maximizar la utilización de los datos y optimizar los conductos de datos mediante métodos de muestreo y selección. Esta sección también se centra en el escalado de experimentos, proporcionando información sobre la planificación y gestión eficaces de experimentos para mejorar el rendimiento de los modelos. Además, explora el ajuste fino eficaz de grandes modelos mediante técnicas de bajo rango e introduce el marco conceptual de los modelos fundacionales, resumiendo su importancia en el panorama en evolución del aprendizaje profundo.