book

Aprendizaje profundo a escala

Name: Aprendizaje profundo a escala
Author: Suneeta Mall
ISBN: 9781098197711

by Suneeta Mall

September 2024

Intermediate to advanced

448 pages

13h 5m

Spanish

O'Reilly Media, Inc.

Audio summary available

Read now

Unlock full access

Prefacio
Por qué es importante la ampliaciónA quién va dirigido este libroCómo está organizado este libroIntroducciónParte I: Conceptos Fundamentales del Aprendizaje ProfundoParte II: Formación distribuidaParte III: Escalado extremoQué necesitas para utilizar este libroCómo configurar tu entorno para los ejercicios prácticosUtilizar ejemplos de códigoConvenciones utilizadas en este libroAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
1. Lo que la naturaleza y la historia nos han enseñado sobre la escala
La filosofía del escaladoLa Ley General de la EscalaHistoria de la Ley de EscaladoSistemas escalablesLa naturaleza como sistema escalableNuestro Sistema Visual: Una inspiración biológicaInteligencia Artificial: La Evolución de los Sistemas AprendiblesSe necesitan cuatro para bailar el tangoTendencias en evolución del aprendizaje profundoLa escala en el contexto del aprendizaje profundoSeis consideraciones sobre el desarrolloConsideraciones sobre la ampliaciónResumen
I. Conceptos fundamentales del aprendizaje profundo
2. Aprendizaje profundo
El papel de los datos en el aprendizaje profundoFlujo de datos en el aprendizaje profundoEjercicio Práctico nº 1: Implementación del Aprendizaje Profundo MinimalistaDesarrollo del modeloEl espacio implícito/latenteUnas palabras de precauciónEl ritmo de aprendizaje y el panorama de pérdidasConsideración de la escalaPerfilandoEjercicio práctico nº 2: Complejidad con PyTorchDatos de entrada del modelo y tuberíasModeloUtilidades auxiliaresPonerlo todo juntoGráficos de cálculoInferenciaResumen
3. El lado computacional del aprendizaje profundo
El Bosón de Higgs del mundo digitalNúmeros de coma flotante: Los Falsos Números ContinuosUnidades de medida de los datosFormatos de almacenamiento de datos: El compromiso entre latencia y rendimientoArquitectura informáticaEl nacimiento del motor electromecánicoMemoria y persistenciaComputación y memoria combinadasLas leyes de escala de la electrónicaAmpliación del cálculo con paralelizaciónHilos frente a Procesos: La unidad de paralelizaciónBibliotecas de aceleración optimizadas para hardwareArquitecturas de ordenadores paralelos: Taxonomías de Flynn y DuncanInformática aceleradaDispositivos aceleradores populares para el aprendizaje profundoCUDAEvaluación comparativa de aceleradoresResumen
4. Ponerlo todo junto: Aprendizaje profundo eficiente
Ejercicio Práctico nº 1: GPT-2Objetivos del ejercicioArquitectura ModeloAplicaciónEjecutar el ejemploSeguimiento de experimentosMedir para comprender las limitaciones y reducir la escalaTransición del lenguaje a la visiónEjercicio Práctico nº 2: Modelo de Visión con ConvoluciónArquitectura ModeloEjecutar el ejemploObservacionesCompilación de gráficos con PyTorch 2.0Nuevos componentes de PyTorch 2.0Ejecución de grafos en PyTorch 2.0Técnicas de modelado para escalar el entrenamiento en un único dispositivoRecopilación de gráficosEntrenamiento de precisión reducida y mixtaTrucos de memoria para la eficienciaEficacia del optimizadorTrucos de la tubería de entrada de modelosEscribir kernels personalizados en PyTorch 2.0 con TritonResumen
II. Formación distribuida
5. Sistemas distribuidos y comunicaciones
Sistemas distribuidosLas ocho falacias de la informática distribuidaTeorema de la coherencia, disponibilidad y tolerancia a la partición (CAP)La ley de escalado de los sistemas distribuidosTipos de sistemas distribuidosComunicación en sistemas distribuidosParadigma de comunicaciónPatrones de comunicaciónTecnologías de la comunicaciónMPIInicialización de la comunicación: EncuentroEjercicio prácticoAmpliación de la capacidad informáticaOpciones de configuración de la infraestructuraAprovisionamiento de dispositivos aceleradosGestión de la carga de trabajoRevisión de la infraestructura de aprendizaje profundoVisión general de los principales grupos de aprendizaje profundoSimilitudes entre los sistemas más potentes de la actualidadResumen
6. Fundamentos teóricos del aprendizaje profundo distribuido
Aprendizaje profundo distribuidoDDL centralizadoDDL descentralizadoDimensiones de la ampliación del aprendizaje profundo distribuidoDimensiones de partición del aprendizaje profundo distribuidoTipos de técnicas de aprendizaje profundo distribuidoElegir una técnica de escaladoEscala de mediciónMétricas y puntos de referencia de extremo a extremoMedir de forma incremental en un entorno reproducibleResumen
7. Paralelismo de datos
Partición de datosImplicaciones de las estrategias de muestreo de datosTrabajar con conjuntos de datos remotosIntroducción a las Técnicas Paralelas de DatosEjercicio práctico nº 1: Servidor centralizado de parámetros mediante RCPEjercicio Práctico nº 2: Formación Distribuida Conjunta Trabajador/Servidor Gradiente-Particionado CentralizadoEjercicio práctico nº 3: Formación distribuida asíncrona descentralizadaEstrategias Paralelas Centralizadas y Sincrónicas de DatosDatos en paralelo (DP)Datos Distribuidos en Paralelo (DDP)Paralelismo de Datos con Optimizador de Redundancia Cero (ZeRO-DP)Formación tolerante a fallosEjercicio práctico nº 4: Análisis sintáctico de escenas con DDPEjercicio Práctico nº 5: DDP distribuido fragmentado (ZeRO)Construir tuberías eficientesFormato del conjunto de datosLocal frente a remotoPuesta en escenaHilos frente a procesos: Escalar tus canalizacionesTrucos de memoriaAumentos de datos: CPU frente a GPUAceleración JITEjercicio Práctico nº 6: Eficiencia de la tubería con FFCVResumen

8. Escalar más allá del paralelismo de datos: Paralelismo de Modelos, Pipelines, Tensores e Híbridos
Preguntas que hay que hacerse antes de escalar verticalmenteFundamentos teóricos del escalado verticalRevisar las dimensiones de la ampliaciónPerspectiva de los operadores sobre las dimensiones del paralelismoFlujo de datos y comunicaciones en el escalado verticalElementos básicos para ir más allá de la ADPrimitivas PyTorch para el escalado verticalTrabajar con modelos más grandesPunto de control distribuido: Guardar el modelo particionadoResumen
9. Adquirir experiencia práctica en la ampliación a todas las dimensiones
Ejercicios prácticos: Modelo, Tensor, Canalización y Paralelismo HíbridoEl conjunto de datosEjercicio práctico nº 1: DeepFM de referenciaEjercicio práctico nº 2: Modelar DeepFM en paraleloEjercicio práctico nº 3: DeepFM paralelo a la tuberíaEjercicio Práctico nº 4: DeepFM Paralelo en Pipeline con RPCEjercicio Práctico nº 5: Tensor Paralelo DeepFMEjercicio Práctico nº 6: DeepFM Paralelo HíbridoHerramientas y bibliotecas para el escalado verticalOneFlowFairScaleDeepSpeedFSDPVisión general y comparaciónEjercicio práctico nº 7: Escalado vertical automático con DeepSpeedObservacionesResumen
III. Escalado extremo
10. Escalado centrado en los datos
Las siete V de los datos a través de una lente de aprendizaje profundoLa ley de la escala de los datosCalidad de los datosValidezVariedadVeracidadValor y volumenEl motor de datos y el aprendizaje continuoVolatilidadVelocidadResumen
11. Experimentos a escala: Planificación y gestión eficaces
El desarrollo del modelo es iterativoPlanificación de Experimentos y EjecuciónSimplificar lo complejoIteración rápida para una retroalimentación rápidaIteraciones desacopladasPruebas de viabilidadDesarrollar y ampliar una solución mínimamente viableConfiguración para la ejecución iterativaTécnicas para ampliar tus experimentosAcelerar la convergencia de los modelosAcelerar el aprendizaje mediante la optimización y la automatizaciónAcelerar el aprendizaje aumentando la experienciaAprender con escasa supervisiónEjercicios prácticosEjercicio Práctico nº 1: Aprendizaje por TransferenciaEjercicio práctico nº 2: Optimización de hiperparámetrosEjercicio Práctico nº 3: Destilación de ConocimientosEjercicio Práctico nº 4: Mezcla de ExpertosEjercicio Práctico nº 5: Aprendizaje ContrastivoEjercicio Práctico nº 6: MetaaprendizajeResumen
12. Ajuste fino eficiente de grandes modelos
Revisión de las técnicas de ajusteAjuste fino estándarMetaaprendizaje (Aprendizaje Cero/Poco)Ajuste fino basado en adaptadoresAjuste de bajo rangoAjuste fino eficiente de los parámetros LoRALoRA Cuantificado (QLoRA)Ejercicio práctico: Ajuste fino basado en QLoRADetalles de la implementaciónInferenciaResumen del ejercicioResumen
13. Modelos de cimentación
¿Qué son los modelos de cimentación?Evolución de los modelos de cimentaciónDesafíos en el desarrollo de modelos de cimentaciónComplejidad de la mediciónDesafíos de ImplementaciónPropagación de defectos a todos los modelos posterioresConsideraciones legales y éticasGarantizar la coherencia y la cohesiónModelos Multimodales de Grandes LenguajesProyecciónGated Cross-AttentionCodificación basada en consultasExploración adicionalResumen
Índice
Sobre el autor

Content preview from Aprendizaje profundo a escala

Capítulo 6. Fundamentos teóricos del aprendizaje profundo distribuido

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Este capítulo presenta los conceptos clave y las formulaciones teóricas del aprendizaje profundo distribuido (DDL), basándose en tu aprendizaje de la Parte I de este libro. Volverás a examinar los sistemas centralizados y descentralizados (descritos en el capítulo anterior) a través de la lente del DDL y explorarás el impacto en el flujo de datos y los gráficos de cálculo cuando se utilizan estas técnicas. En este capítulo, también conocerás los distintos tipos de aprendizaje distribuido y cómo decidir qué tipo de DDL puede ser el más adecuado para escalar tu entrenamiento.

Aprendizaje profundo distribuido

El Capítulo 2 describió el flujo de datos durante el entrenamiento, explicando el flujo de cálculo del gradiente, que implica el paso hacia delante y el paso hacia atrás, y el flujo de actualización de parámetros, que se guía por técnicas de optimización como el descenso de gradiente. En la Figura 6-1 se muestra una presentación pictórica de estos flujos. Como se muestra en esta figura, el flujo de cálculo del gradiente (indicado por las flechas sólidas) es local a los gráficos de cálculo, mientras que el flujo de actualización de parámetros (indicado por las flechas discontinuas) cierra el bucle para completar el aprendizaje de cada paso de optimización.

Figura 6-1. Revisión del flujo de ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Aprendizaje profundo generativo, 2ª edición

Publisher Resources

ISBN: 9781098197711

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design