Deep Learning im Maßstab

Kapitel 13. Basismodelle

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Je höher das Gebäude ist, desto tiefer muss das Fundament gelegt werden.

-Thomas à Kempis

Die extreme Skalierung von Deep-Learning-Modellen in verschiedenen Dimensionen (Daten, Rechenleistung, Kapazität) hat zur Entwicklung von Allzweckmodellen geführt, die in der Lage sind, viele verschiedene Aufgaben ohne explizite Überwachung durchzuführen. Diese evolutionären Modelle verfügen oft über generative und adaptive Fähigkeiten und sind bei vielen Aufgaben - von der grundlegenden Wahrnehmung und Kognition bis hin zum Verstehen von Szenen oder Texten und dem Befolgen von Anweisungen - so effektiv, dass sie in der angewandten KI zunehmend an Bedeutung gewinnen.

In diesem Kapitel lernst du die Grundlagen dieser sogenannten Basismodelle kennen und erfährst, wie sie sich bis heute entwickelt haben. Du erfährst, welche Herausforderungen mit der Entwicklung und Anpassung dieser Modelle verbunden sind, wie sie multimodal werden und wie die bahnbrechenden Architekturen LLaVA, Flamingo und BLIP-2 aussehen.

Was sind Basismodelle?

Der Begriff Basismodell wurde vom Stanford Institute for Human-Centered Artificial Intelligence's Center for Research on Foundation Models geprägt, um groß angelegte Deep-Learning-Modelle zu beschreiben, die auf sehr großen Datensätzen trainiert wurden und in der Lage sind, viele Aufgaben gut zu bewältigen, ...