book

Aprendizaje profundo a escala

by Suneeta Mall

September 2024

Intermediate to advanced

448 pages

13h 5m

Spanish

O'Reilly Media, Inc.

Audio summary available

Read now

Unlock full access

Por qué es importante la ampliaciónA quién va dirigido este libroCómo está organizado este libroIntroducciónParte I: Conceptos Fundamentales del Aprendizaje ProfundoParte II: Formación distribuidaParte III: Escalado extremoQué necesitas para utilizar este libroCómo configurar tu entorno para los ejercicios prácticosUtilizar ejemplos de códigoConvenciones utilizadas en este libroAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
La filosofía del escaladoLa Ley General de la EscalaHistoria de la Ley de EscaladoSistemas escalablesLa naturaleza como sistema escalableNuestro Sistema Visual: Una inspiración biológicaInteligencia Artificial: La Evolución de los Sistemas AprendiblesSe necesitan cuatro para bailar el tangoTendencias en evolución del aprendizaje profundoLa escala en el contexto del aprendizaje profundoSeis consideraciones sobre el desarrolloConsideraciones sobre la ampliaciónResumen
El papel de los datos en el aprendizaje profundoFlujo de datos en el aprendizaje profundoEjercicio Práctico nº 1: Implementación del Aprendizaje Profundo MinimalistaDesarrollo del modeloEl espacio implícito/latenteUnas palabras de precauciónEl ritmo de aprendizaje y el panorama de pérdidasConsideración de la escalaPerfilandoEjercicio práctico nº 2: Complejidad con PyTorchDatos de entrada del modelo y tuberíasModeloUtilidades auxiliaresPonerlo todo juntoGráficos de cálculoInferenciaResumen
El Bosón de Higgs del mundo digitalNúmeros de coma flotante: Los Falsos Números ContinuosUnidades de medida de los datosFormatos de almacenamiento de datos: El compromiso entre latencia y rendimientoArquitectura informáticaEl nacimiento del motor electromecánicoMemoria y persistenciaComputación y memoria combinadasLas leyes de escala de la electrónicaAmpliación del cálculo con paralelizaciónHilos frente a Procesos: La unidad de paralelizaciónBibliotecas de aceleración optimizadas para hardwareArquitecturas de ordenadores paralelos: Taxonomías de Flynn y DuncanInformática aceleradaDispositivos aceleradores populares para el aprendizaje profundoCUDAEvaluación comparativa de aceleradoresResumen
Ejercicio Práctico nº 1: GPT-2Objetivos del ejercicioArquitectura ModeloAplicaciónEjecutar el ejemploSeguimiento de experimentosMedir para comprender las limitaciones y reducir la escalaTransición del lenguaje a la visiónEjercicio Práctico nº 2: Modelo de Visión con ConvoluciónArquitectura ModeloEjecutar el ejemploObservacionesCompilación de gráficos con PyTorch 2.0Nuevos componentes de PyTorch 2.0Ejecución de grafos en PyTorch 2.0Técnicas de modelado para escalar el entrenamiento en un único dispositivoRecopilación de gráficosEntrenamiento de precisión reducida y mixtaTrucos de memoria para la eficienciaEficacia del optimizadorTrucos de la tubería de entrada de modelosEscribir kernels personalizados en PyTorch 2.0 con TritonResumen
Sistemas distribuidosLas ocho falacias de la informática distribuidaTeorema de la coherencia, disponibilidad y tolerancia a la partición (CAP)La ley de escalado de los sistemas distribuidosTipos de sistemas distribuidosComunicación en sistemas distribuidosParadigma de comunicaciónPatrones de comunicaciónTecnologías de la comunicaciónMPIInicialización de la comunicación: EncuentroEjercicio prácticoAmpliación de la capacidad informáticaOpciones de configuración de la infraestructuraAprovisionamiento de dispositivos aceleradosGestión de la carga de trabajoRevisión de la infraestructura de aprendizaje profundoVisión general de los principales grupos de aprendizaje profundoSimilitudes entre los sistemas más potentes de la actualidadResumen
Aprendizaje profundo distribuidoDDL centralizadoDDL descentralizadoDimensiones de la ampliación del aprendizaje profundo distribuidoDimensiones de partición del aprendizaje profundo distribuidoTipos de técnicas de aprendizaje profundo distribuidoElegir una técnica de escaladoEscala de mediciónMétricas y puntos de referencia de extremo a extremoMedir de forma incremental en un entorno reproducibleResumen
Partición de datosImplicaciones de las estrategias de muestreo de datosTrabajar con conjuntos de datos remotosIntroducción a las Técnicas Paralelas de DatosEjercicio práctico nº 1: Servidor centralizado de parámetros mediante RCPEjercicio Práctico nº 2: Formación Distribuida Conjunta Trabajador/Servidor Gradiente-Particionado CentralizadoEjercicio práctico nº 3: Formación distribuida asíncrona descentralizadaEstrategias Paralelas Centralizadas y Sincrónicas de DatosDatos en paralelo (DP)Datos Distribuidos en Paralelo (DDP)Paralelismo de Datos con Optimizador de Redundancia Cero (ZeRO-DP)Formación tolerante a fallosEjercicio práctico nº 4: Análisis sintáctico de escenas con DDPEjercicio Práctico nº 5: DDP distribuido fragmentado (ZeRO)Construir tuberías eficientesFormato del conjunto de datosLocal frente a remotoPuesta en escenaHilos frente a procesos: Escalar tus canalizacionesTrucos de memoriaAumentos de datos: CPU frente a GPUAceleración JITEjercicio Práctico nº 6: Eficiencia de la tubería con FFCVResumen

Preguntas que hay que hacerse antes de escalar verticalmenteFundamentos teóricos del escalado verticalRevisar las dimensiones de la ampliaciónPerspectiva de los operadores sobre las dimensiones del paralelismoFlujo de datos y comunicaciones en el escalado verticalElementos básicos para ir más allá de la ADPrimitivas PyTorch para el escalado verticalTrabajar con modelos más grandesPunto de control distribuido: Guardar el modelo particionadoResumen
Ejercicios prácticos: Modelo, Tensor, Canalización y Paralelismo HíbridoEl conjunto de datosEjercicio práctico nº 1: DeepFM de referenciaEjercicio práctico nº 2: Modelar DeepFM en paraleloEjercicio práctico nº 3: DeepFM paralelo a la tuberíaEjercicio Práctico nº 4: DeepFM Paralelo en Pipeline con RPCEjercicio Práctico nº 5: Tensor Paralelo DeepFMEjercicio Práctico nº 6: DeepFM Paralelo HíbridoHerramientas y bibliotecas para el escalado verticalOneFlowFairScaleDeepSpeedFSDPVisión general y comparaciónEjercicio práctico nº 7: Escalado vertical automático con DeepSpeedObservacionesResumen
Las siete V de los datos a través de una lente de aprendizaje profundoLa ley de la escala de los datosCalidad de los datosValidezVariedadVeracidadValor y volumenEl motor de datos y el aprendizaje continuoVolatilidadVelocidadResumen
El desarrollo del modelo es iterativoPlanificación de Experimentos y EjecuciónSimplificar lo complejoIteración rápida para una retroalimentación rápidaIteraciones desacopladasPruebas de viabilidadDesarrollar y ampliar una solución mínimamente viableConfiguración para la ejecución iterativaTécnicas para ampliar tus experimentosAcelerar la convergencia de los modelosAcelerar el aprendizaje mediante la optimización y la automatizaciónAcelerar el aprendizaje aumentando la experienciaAprender con escasa supervisiónEjercicios prácticosEjercicio Práctico nº 1: Aprendizaje por TransferenciaEjercicio práctico nº 2: Optimización de hiperparámetrosEjercicio Práctico nº 3: Destilación de ConocimientosEjercicio Práctico nº 4: Mezcla de ExpertosEjercicio Práctico nº 5: Aprendizaje ContrastivoEjercicio Práctico nº 6: MetaaprendizajeResumen
Revisión de las técnicas de ajusteAjuste fino estándarMetaaprendizaje (Aprendizaje Cero/Poco)Ajuste fino basado en adaptadoresAjuste de bajo rangoAjuste fino eficiente de los parámetros LoRALoRA Cuantificado (QLoRA)Ejercicio práctico: Ajuste fino basado en QLoRADetalles de la implementaciónInferenciaResumen del ejercicioResumen
¿Qué son los modelos de cimentación?Evolución de los modelos de cimentaciónDesafíos en el desarrollo de modelos de cimentaciónComplejidad de la mediciónDesafíos de ImplementaciónPropagación de defectos a todos los modelos posterioresConsideraciones legales y éticasGarantizar la coherencia y la cohesiónModelos Multimodales de Grandes LenguajesProyecciónGated Cross-AttentionCodificación basada en consultasExploración adicionalResumen

Content preview from Aprendizaje profundo a escala

Capítulo 4. Ponerlo todo junto: Aprendizaje profundo eficiente

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En el Capítulo 2, leíste sobre los fundamentos y los flujos de datos de las aplicaciones de aprendizaje profundo. En el Capítulo 3, aprendiste sobre las diversas unidades de cálculo disponibles en la actualidad y cómo permiten el cálculo numérico a escala. Este capítulo se basa en el contenido de los dos capítulos anteriores, demostrando la aceleración proporcionada por el hardware informático especializado y proporcionando algunos ejemplos de cómo hacerlo. También presenta algunos consejos y trucos para entrenar eficazmente un modelo de aprendizaje profundo en una sola máquina con un máximo de un dispositivo acelerado.

En este capítulo hay dos ejercicios prácticos, uno que utiliza un modelo de lenguaje (GPT-2 de OpenAI) y el segundo un modelo de clasificación de imágenes (EfficientNet).¹ El ejercicio GPT-2 te permite explorar el nivel de aceleración que proporciona una GPU y profundizar en los detalles de las herramientas de creación de perfiles para comprender las implicaciones subyacentes. En el segundo ejemplo práctico, explorarás la creación de una solución de segmentación de imágenes multiclase utilizando el conjunto de datos Scene Parsing Benchmark (SceneParse150) del MIT. Después de realizar estos ejercicios, verás varias técnicas que puedes aplicar para introducir eficiencia en tu código. Más ...