Skip to Main Content
Generative KI auf AWS
book

Generative KI auf AWS

by Chris Fregly, Antje Barth, Shelbee Eigenbrode
September 2024
Intermediate to advanced content levelIntermediate to advanced
312 pages
8h 37m
German
O'Reilly Media, Inc.
Book available
Content preview from Generative KI auf AWS

Kapitel 7. Feinabstimmung mit Reinforcement Learning aus menschlichem Feedback

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Wie du in den Kapiteln 5 und 6 gelernt hast, kann die Feinabstimmung mit Anweisungen die Leistung deines Modells verbessern und dem Modell helfen, menschenähnliche Eingabeaufforderungen besser zu verstehen und menschenähnlichere Antworten zu erzeugen. Es verhindert jedoch nicht, dass das Modell unerwünschte, falsche und manchmal sogar schädliche Vervollständigungen erzeugt.

Unerwünschte Ergebnisse sind keine Überraschung, wenn man bedenkt, dass diese Modelle auf riesigen Mengen von Textdaten aus dem Internet trainiert werden, die leider viele schlechte und giftige Wörter enthalten. Auch wenn Forscher/innen und Praktiker/innen die Pretraining-Datensätze immer weiter säubern und verfeinern, um unerwünschte Daten zu entfernen, besteht immer noch die Möglichkeit, dass das Modell Inhalte erzeugt, die nicht mit den menschlichen Werten und Vorlieben übereinstimmen.

Verstärkungslernen durch menschliches Feedback (Reinforcement Learning from Human Feedback, RLHF) ist ein Feinabstimmungsmechanismus, der menschliche Anmerkungen - auch menschliches Feedback genannt - nutzt, um das Modell an menschliche Werte und Vorlieben anzupassen. RLHF wird am häufigsten nach anderen Formen der Feinabstimmung eingesetzt, z. B. nach der Feinabstimmung von Anweisungen.

RLHF wird in der Regel verwendet, ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Data Science mit AWS

Data Science mit AWS

Chris Fregly, Antje Barth
Erweiterte Analytik mit PySpark

Erweiterte Analytik mit PySpark

Akash Tandon, Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills
Erklärbare KI für Praktiker

Erklärbare KI für Praktiker

Michael Munn, David Pitman

Publisher Resources

ISBN: 9781098180966Supplemental Content