book

IA Generativa en AWS

by Chris Fregly, Antje Barth, Shelbee Eigenbrode

September 2024

Intermediate to advanced

312 pages

8h 39m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientosChrisAntjeShelbee
Casos prácticos y tareasModelos de cimentación y núcleos de modelosCiclo de vida de un proyecto de IA GenerativaIA Generativa en AWS¿Por qué IA Generativa en AWS?Creación de aplicaciones de IA generativa en AWSResumen
Preguntas y respuestasFichasIngeniería de promptsEstructura de la preguntaInstrucciónContextoAprendizaje en contexto con inferencia de pocos disparosInferencia de tiro por ceroInferencia únicaInferencia de pocos disparosEl aprendizaje en contexto sale malBuenas prácticas de aprendizaje en contextoBuenas prácticas de ingeniería de promptsParámetros de configuración de la inferenciaResumen
Modelos de fundamentos de lenguas grandesTokenizadoresVectores de incrustaciónArquitectura del transformadorVentana de Entradas y ContextoCapa de incrustaciónCodificadorAutoatenciónDescodificadorSalida SoftmaxTipos de modelos de cimentación basados en transformadoresConjuntos de datos de preentrenamientoLeyes de escala Modelos computacionales óptimosResumen
Retos de memoriaTipos de datos y precisión numéricaCuantizaciónfp16bfloat16fp8int8Optimizar las capas de autoatenciónFlashAtenciónAtención a las consultas agrupadasInformática distribuidaDatos Distribuidos ParalelosDatos totalmente fragmentados en paraleloComparación del rendimiento del FSDP sobre el DDPComputación distribuida en AWSDatos totalmente fragmentados en paralelo con Amazon SageMakerAWS Neuron SDK y AWS TrainiumResumen
Ajuste de las instruccionesLlama 2-ChatFalcon-ChatFLAN-T5Conjunto de datos de instrucciónConjunto de datos de instrucciones multitareaFLAN: Ejemplo de conjunto de datos de instrucciones multitareaPlantilla de avisoConvertir un Conjunto de Datos Personalizado en un Conjunto de Datos de InstrucciónAjuste de las instruccionesEstudio Amazon SageMakerInicio rápido de Amazon SageMakerEstimador Amazon SageMaker para Cara de AbrazoEvaluaciónMétricas de evaluaciónPuntos de referencia y conjuntos de datosResumen
Ajuste fino completo frente a PEFTLoRA y QLoRAFundamentos de LoRARangoMódulos de destino y capasAplicación de la LoRAFusión del adaptador LoRA con el modelo originalMantener adaptadores LoRA separadosAjuste fino completo frente a rendimiento LoRAQLoRAAjuste de los avisos y avisos suavesResumen
Alineación Humana: Servicial, Honesto e InofensivoVisión general del aprendizaje por refuerzoEntrenar un modelo de recompensa personalizadoRecoger el Conjunto de Datos de Entrenamiento con el Humano en el BucleEjemplo de instrucciones para etiquetadores humanosUso de Amazon SageMaker Ground Truth para anotaciones humanasPreparar datos de clasificación para entrenar un modelo de recompensaEntrenar el modelo de recompensaModelo de Recompensa Existente: Detector de Toxicidad por MetaAjuste fino con aprendizaje por refuerzo a partir de la información humanaUtilizar el Modelo de Recompensa con RLHFAlgoritmo RL de Optimización de la Política PróximaRealiza el ajuste fino del RLHF con PPOMitigar el pirateo de recompensasUtilizando el Ajuste Fino Eficaz de Parámetros con RLHFEvaluar el modelo RLHF afinadoEvaluación cualitativaEvaluación cuantitativaModelo de evaluación de la cargaDefinir la función de agregación métrica de evaluaciónCompara las métricas de evaluación antes y despuésResumen
Optimizaciones del modelo para la inferenciaPodaCuantificación post-entrenamiento con GPTQDestilaciónGran Contenedor de Inferencia de ModelosAWS Inferentia: Hardware específico para la inferenciaEstrategias de Actualización e Implementación del ModeloPruebas A/BImplementación en la sombraMétricas y monitoreoAutoescaladoPolíticas de autoescaladoDefinir una política de autoescaladoResumen
Limitaciones del Modelo de Lenguaje GrandeAlucinaciónLímite de conocimientosRecuperación-Generación mejoradaFuentes externas de conocimientoFlujo de trabajo RAGCarga de documentos AgruparRecuperación y reordenación de documentosAumento rápidoOrquestación e implementación del GARCarga y agrupación de documentosAlmacenamiento y recuperación de vectores incrustadosCadenas de recuperaciónRecalificación con relevancia marginal máximaAgentesMarco ReActMarco lingüístico asistido por programaAplicaciones de la IA GenerativaFMOps: Operacionalizar el Ciclo de Vida del Proyecto de IA GenerativaConsideraciones sobre la experimentaciónConsideraciones sobre el desarrollo Consideraciones sobre la Implementación en ProducciónResumen

Casos prácticosBuenas prácticas de ingeniería de prompts multimodalesGeneración y mejora de imágenesGeneración de imágenesEdición y mejora de imágenesInpainting, Outpainting, Profundidad de la imagenPintandoPintandoProfundidad de la imagenSubtitulado de imágenes y respuesta a preguntas visualesSubtitulado de imágenesModeración de contenidosRespuesta visual a preguntas Evaluación del modeloTareas Generativas de Texto a ImagenDifusión hacia delanteRazonamiento no verbalFundamentos de la Arquitectura de DifusiónDifusión hacia delanteDifusión inversaU-Net Difusión Estable 2 ArquitecturaCodificador de textoU-Net y Proceso de DifusiónAcondicionamiento del textoAtención cruzadaProgramadorDescodificador de imágenesDifusión estable Arquitectura XLU-Net y Atención CruzadaRefinadorAcondicionamientoResumen
ControlNetAjuste finoDreamBoothDreamBooth y PEFT-LoRAInversión textualAlineación Humana con Aprendizaje por Refuerzo a partir de la Retroalimentación HumanaResumen
Modelos de cimentación de roca madreModelos de la Fundación Amazon TitanModelos de Fundación de Difusión Estable de la IA de EstabilidadAPI de inferencia de BedrockGrandes modelos lingüísticosGenerar código SQLResumir textoIncrustacionesAjuste finoAgentesModelos multimodalesCrear imágenes a partir de textoCrear imágenes a partir de imágenesPrivacidad de los datos y seguridad de la redGobernanza y monitoreoResumen

Content preview from IA Generativa en AWS

Capítulo 4. Optimizaciones de memoria y computación

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En el Capítulo 3, exploraste las buenas prácticas para experimentar y seleccionar un modelo base para tu caso de uso. El siguiente paso suele ser adaptar el modelo a tus necesidades y conjuntos de datos específicos. Esto podría incluir la adaptación del modelo a tus conjuntos de datos mediante una técnica denominada ajuste fino, que explorarás con más detalle en el Capítulo 5. Al entrenar o afinar grandes modelos de fundamentos, a menudo te enfrentas a retos informáticos, en particular, cómo hacer caber grandes modelos en la memoria de la GPU.

En este capítulo, explorarás técnicas que ayudan a superar las limitaciones de memoria. Aprenderás a aplicar la cuantización y el entrenamiento distribuido para minimizar la RAM necesaria en la GPU, y a escalar horizontalmente el entrenamiento del modelo en varias GPU para modelos más grandes.

Por ejemplo, el modelo Falcon original de 40.000 millones de parámetros de se entrenó en un clúster de 48 instancias de ml.p4d.24xlarge Amazon SageMaker compuesto por 384 GPUs NVIDIA A100, 15 TB de RAM de GPU y 55 TB de RAM de CPU. Una versión más reciente de Falcon se entrenó en un cluster de 392 instancias ml.p4d.24xlarge SageMaker compuesto por 3.136 GPUs NVIDIA A100, 125TB de RAM de GPU y 450TB de RAM de CPU. El tamaño y la complejidad del modelo Falcon requieren un cluster de GPUs, ...