Skip to Main Content
Generative KI auf AWS
book

Generative KI auf AWS

by Chris Fregly, Antje Barth, Shelbee Eigenbrode
September 2024
Intermediate to advanced content levelIntermediate to advanced
312 pages
8h 37m
German
O'Reilly Media, Inc.
Book available
Content preview from Generative KI auf AWS

Kapitel 6. Parametereffiziente Feinabstimmung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Wie wir in den vorangegangenen Kapiteln besprochen haben, ist das Training generativer Modelle rechenintensiv. Die Anpassung von Modellen an dein Gebiet durch vollständiges Feintuning erfordert nicht nur Speicherplatz für das Modell, sondern auch für verschiedene andere Parameter, die während des Trainingsprozesses benötigt werden. Im Gegensatz zur vollständigen Feinabstimmung bietet die parameter-effiziente Feinabstimmung (PEFT) eine Reihe von Techniken, mit denen du deine Modelle mit weniger Rechenressourcen feinabstimmen kannst.

Es gibt eine Vielzahl von PEFT-Techniken und -Kategorien, die in einem Artikel über Skalierung untersucht werden.1 Die Techniken unterscheiden sich in der Umsetzung, aber im Allgemeinen konzentrieren sich alle darauf, alle oder die meisten der ursprünglichen Parameter des Modells einzufrieren und die Modellschichten durch das Training eines zusätzlichen, viel kleineren Satzes von Parametern zu erweitern oder zu ersetzen. Die am häufigsten verwendeten Techniken fallen in die Kategorien Additivierung und Reparametrisierung.

Additive Techniken, wie die Eingabeaufforderung, erweitern das Modell durch Feinabstimmung und Hinzufügen zusätzlicher Parameter oder Schichten zum vortrainierten Modell. Reparametrisierungstechniken wie die Low-Rank Adaptation (LoRA) ermöglichen die Anpassung ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Data Science mit AWS

Data Science mit AWS

Chris Fregly, Antje Barth
Erweiterte Analytik mit PySpark

Erweiterte Analytik mit PySpark

Akash Tandon, Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills
Erklärbare KI für Praktiker

Erklärbare KI für Praktiker

Michael Munn, David Pitman

Publisher Resources

ISBN: 9781098180966Supplemental Content