Transformers: Der endgültige Leitfaden (German Edition)

Kapitel 1. Von den Grundlagen zu modernsten Transformern

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Seit ihrer Einführung im Jahr 2017 hat sich die Transformer-Architektur¹ das Gebiet der natürlichen Sprachverarbeitung (NLP) revolutioniert und einen Paradigmenwechsel hin zu Modellen eingeleitet, die in der Lage sind, natürliche Sprache zu verstehen (NLU). Dieser Wandel war möglich, weil Transformer sequenzielle Daten parallel verarbeiten und so ein tieferes und kontextbezogeneres Sprachverständnis ermöglichen, als es mit früheren sequenziellen Modellen wie Long Short-Term Memory (LSTM)-Netzwerken möglich war.

In den letzten Jahren haben sich Transformer weiterentwickelt und beeinflussen mittlerweile eine Vielzahl von Bereichen, darunter Computer Vision, Spracherkennung, bestärkendes Lernen und mathematische Operationen, und gehen damit über ihre ursprüngliche Verwendung im Bereich der NLP hinaus. Ihre Anpassungsfähigkeit hat zu bedeutenden Fortschritten in der maschinellen Übersetzung geführt, die kontextbezogene Übersetzungen ermöglicht, sowie in der wissenschaftlichen Forschung, insbesondere bei der Vorhersage von Proteinstrukturen mit bemerkenswerter Genauigkeit.

Zu den spannendsten Entwicklungen zählen Reasoning-Modelle, bei denen es sich um fortschrittliche LLMs handelt, die mit Reinforcement Learning trainiert wurden, um komplexe, mehrstufige Schlussfolgerungen zu ziehen. Sie generieren ...