IA Generativa en AWS

Capítulo 11. Generación controlada y ajuste fino con difusión estable

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

El control de la generación es un área activa de investigación, con muchas técnicas de vanguardia introducidas recientemente. El objetivo de estas técnicas es aumentar los modelos de difusión para manejar mejor las tareas comunes de la imagen, como la detección de perímetros y los mapas de segmentación. Estas técnicas proporcionan un control de grano fino sobre la generación de imágenes.

En este capítulo, aprenderás sobre una potente técnica llamada ControlNet para aumentar y mejorar la generación de texto a imagen para modelos como la Difusión Estable. Además, explorarás el ajuste fino multimodal con herramientas como DreamBooth, algoritmos como la inversión textual y optimizaciones como el ajuste fino eficiente de parámetros (PEFT). Por último, volverás a examinar el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) en el contexto de la alineación de los modelos multimodales con las preferencias humanas, incluidas la utilidad, la honestidad y la inocuidad (HHH).

ControlNet

Descrito en un artículo de 2023,¹ ControlNet es una forma popular de entrenar varios controles que mejoran tus tareas generativas basadas en imágenes. ControlNet es una red neuronal profunda que funciona con modelos de difusión como Difusión Estable.

Durante el entrenamiento, un control aprende una ...