Große Sprachmodelle: Die schwierigen Teile (German Edition)

Kapitel 8. LLM -Anpassung: Eine Fallstudie

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Ein Volk, das seine Privilegien über seine Prinzipien stellt, verliert bald beides.

Dwight D. Eisenhower

Bitte beachte, dass wir in diesem Kapitel schädliche Eingabeaufforderungen (wie die Frage an ein LLM, wie man eine Bombe baut) und unsicheres Modellverhalten erörtern, um Sicherheitsrisiken zu bewerten und zu mindern. Beispiele werden, wo dies angemessen ist, gekürzt oder abstrahiert.

In diesem Kapitel verstehen wir unter „Alignment“ die Anpassung des Verhaltens eines Modells an eine definierte Richtlinie oder eine Reihe von Präferenzen. Die Richtlinienanpassung ist die Herausforderung, sicherzustellen, dass sich ein LLM im Einklang mit unseren Werten, organisatorischen Richtlinien und anderen Normen verhält, um zuverlässig den richtigen Text auf die richtige Art und Weise und aus den richtigen Gründen zu generieren. Ein LLM, das ausschließlich auf Internetdaten trainiert wurde, lernt, Text statistisch vorherzusagen, was bedeutet, dass es neben wirklich nützlichem Wissen auch menschliche Vorurteile, schädliche Inhalte, Fehlinformationen und toxische Sprachmuster lernt.

Praktisch gesehen ist die Richtlinienanpassung die Reihe von Techniken, mit denen wir diese rohe Fähigkeit in ein System umwandeln, das auf vorhersehbare und kontrollierbare Weise hilfreich, ehrlich und harmlos ist. Ohne Anpassung ...