Angewandte natürliche Sprachverarbeitung im Unternehmen

Anhang A. Skalierung

Wie wir bereits mehrfach in diesem Buch erwähnt haben, haben große Sprachmodelle einen großen Einfluss auf den Bereich des NLP, und die aktuellen Trends deuten darauf hin, dass dies in absehbarer Zeit nicht aufhören wird, wie Abbildung A-1 zeigt.

Abbildung A-1. Wachstumstrend des Sprachmodells

Das Tolle daran ist, dass die meisten Forscher/innen in der Regel daran interessiert sind, ihren Code zu veröffentlichen und auch die trainierten Modellgewichte freizugeben, selbst wenn du nicht besonders begeistert davon bist, selbst ein großes Modell zu trainieren. Bessere Sprachmodelle, die länger auf größeren Datensätzen trainiert wurden, bedeuten, dass du als Entwickler von NLP-Anwendungen eine solidere Grundlage hast, auf der du aufbauen kannst. Das ist fast wie ein kostenloser Leistungsschub!¹

Aufgrund dieses rasanten Fortschritts und des allgemeinen Interesses am Open-Sourcing der besten Modelle würden wir im Allgemeinen nicht empfehlen, dein eigenes großes Sprachmodell von Grund auf zu trainieren. Es ist oft kontraproduktiv, wenn viele Forscherinnen und Forscher jahrelang GPU-Zeit darauf verwendet haben, ein bestimmtes Sprachmodell auf einem bestehenden großen Datensatz zu optimieren. Unsere allererste Lektion in Kapitel 2 war, dass ein umsichtiges Feintuning große Vorteile bringen kann. In der Praxis solltest du Transfer Learning immer nutzen, wo immer du ...