Generative KI auf AWS

Kapitel 11. Kontrollierte Erzeugung und Feinabstimmung mit stabiler Diffusion

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Die Steuerung der Generierung ist ein aktiver Forschungsbereich, in dem erst vor kurzem viele innovative Techniken eingeführt wurden. Das Ziel dieser Techniken ist es, Diffusionsmodelle zu erweitern, um gängige Bildaufgaben wie Kantenerkennung und Segmentierungskarten besser zu bewältigen. Diese Techniken ermöglichen eine feinkörnige Steuerung der Bilderzeugung.

In diesem Kapitel lernst du eine leistungsstarke Technik namens ControlNet kennen, mit der du die Text-Bild-Erzeugung für Modelle wie Stable Diffusion erweitern und verbessern kannst. Außerdem lernst du die multimodale Feinabstimmung mit Tools wie DreamBooth, Algorithmen wie die Textinversion und Optimierungen wie die parameter-effiziente Feinabstimmung (PEFT) kennen. Schließlich wirst du das Verstärkungslernen aus menschlichem Feedback (RLHF) im Zusammenhang mit dem Abgleich multimodaler Modelle mit menschlichen Präferenzen wie Hilfsbereitschaft, Ehrlichkeit und Harmlosigkeit (HHH) neu betrachten.

ControlNet

Beschrieben in einem Paper aus dem Jahr 2023,¹ ControlNet ist eine beliebte Methode zum Trainieren verschiedener Steuerungen, die deine bildbasierten generativen Aufgaben verbessern. ControlNet ist ein Deep Neural Network, das mit Diffusionsmodellen wie Stable Diffusion arbeitet.

Während des Trainings lernt ...