Angewandte natürliche Sprachverarbeitung im Unternehmen

Kapitel 2. Transformatoren und Transferlernen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Nachdem du nun in den Bereich der natürlichen Sprachverarbeitung eingeführt wurdest, gibt es etwas Wichtiges, das du verstehen musst. Es ist eigentlich kein langer Weg von deinem Startpunkt bis zum Stand der Technik.

Am Ende werden wir natürlich zu den Grundlagen zurückkehren, die Grundlagen diskutieren und alle Details verstehen. Aber wir werden dir das gelobte Land zeigen, bevor wir uns auf die lange und harte Reise dorthin begeben.

Eine der wichtigsten Ideen, die du umsetzen musst, wenn du Deep Learning in der realen Welt einsetzen willst, ist das Transfer-Lernen. Dabei wird ein Modell, das bereits auf einem anderen Datensatz trainiert wurde, an deinen neuen Datensatz angepasst. Wenn du zum Beispiel ein Sprachmodell trainierst, um fesselnde Kurzgeschichten im Stil von Hemingway zu erstellen, könntest du ein Modell, das auf einer Vielzahl von Büchern trainiert wurde, feinabstimmen, anstatt nur auf den Textproben von Hemingway zu trainieren, von denen es vielleicht nicht viele gibt.

Eine schöne Analogie in der objektorientierten Programmierung ist das Konzept der Vererbung in Klassen. Nehmen wir an, wir entwickeln eine Art Zoo-Management-Videospiel, in dem jedes Tier durch eine Klasse repräsentiert wird. Die Tiere haben Eigenschaften wie Gewicht und Größe sowie Funktionen wie Fressen und Schlafen. ...