Skip to Main Content
Generative KI auf AWS
book

Generative KI auf AWS

by Chris Fregly, Antje Barth, Shelbee Eigenbrode
September 2024
Intermediate to advanced content levelIntermediate to advanced
312 pages
8h 37m
German
O'Reilly Media, Inc.
Book available
Content preview from Generative KI auf AWS

Kapitel 3. Großsprachige Basismodelle

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

In Kapitel 2 hast du gelernt, wie du das Eingabeaufforderung-Engineering durchführst und das kontextbezogene Lernen mit einem bestehenden Basismodell nutzt. In diesem Kapitel erfährst du, wie ein Basismodell trainiert wird, einschließlich der Trainingsziele und Datensätze. Es ist zwar nicht üblich, sein eigenes Basismodell von Grund auf zu trainieren, aber es lohnt sich, zu verstehen, wie viel Zeit, Aufwand und Komplexität für diesen rechenintensiven Prozess erforderlich sind.

Um ein Großsprachenmodell mit mehreren Milliarden Parametern von Grund auf zu trainieren, was als Pretraining bezeichnet wird, sind Millionen von GPU-Rechenstunden, Billionen von Daten-Token und eine Menge Geduld erforderlich. In diesem Kapitel lernst du die empirischen Skalierungsgesetze kennen, die in dem populären Chinchilla Paper für das Pretraining von Modellen beschrieben werden.1

Beim Training des BloombergGPT-Modells, zum Beispiel, nutzten die Forscher die Skalierungsgesetze von Chinchilla als Ausgangspunkt, benötigten aber dennoch eine Menge Versuch und Irrtum, wie im BloombergGPT-Papier erläutert.2 Mit einem GPU-Rechenbudget von 1,3 Millionen GPU-Stunden wurde BloombergGPT mit einem großen verteilten Cluster von GPU-Instanzen mit Amazon SageMaker trainiert.

Hinweis

Dieses Kapitel befasst sich eingehend mit dem Vortraining ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Data Science mit AWS

Data Science mit AWS

Chris Fregly, Antje Barth
Erweiterte Analytik mit PySpark

Erweiterte Analytik mit PySpark

Akash Tandon, Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills
Erklärbare KI für Praktiker

Erklärbare KI für Praktiker

Michael Munn, David Pitman

Publisher Resources

ISBN: 9781098180966Supplemental Content