Deep Learning für Programmierer mit fastai und PyTorch

Kapitel 12. Ein Sprachmodell von Grund auf

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Jetzt sind wir bereit, in die Tiefe zu gehen... in die Tiefe des Deep Learning! Du hast bereits gelernt, wie man ein grundlegendes neuronales Netzwerk trainiert, aber wie kommt man von dort aus zu hochmodernen Modellen? In diesem Teil des Buches werden wir alle Geheimnisse lüften, angefangen bei Sprachmodellen.

In Kapitel 10 hast du gesehen, wie du ein vortrainiertes Sprachmodell fein abstimmst, um einen Textklassifikator zu erstellen. In diesem Kapitel werden wir genau erklären, was in diesem Modell steckt und was ein RNN ist. Als Erstes wollen wir einige Daten sammeln, mit denen wir schnell einen Prototyp unserer verschiedenen Modelle erstellen können.

Die Daten

Wenn wir mit der Arbeit an einem neuen Problem beginnen, versuchen wir immer zuerst, einen möglichst einfachen Datensatz zu finden, mit dem wir Methoden schnell und einfach ausprobieren und die Ergebnisse interpretieren können. Als wir vor ein paar Jahren begannen, an der Sprachmodellierung zu arbeiten, fanden wir keinen Datensatz, der ein schnelles Prototyping ermöglicht hätte, also haben wir einen erstellt. Wir nennen ihn Human Numbers und er enthält einfach die ersten 10.000 Zahlen, die auf Englisch geschrieben wurden.

Jeremy Sagt

Einer der häufigsten praktischen Fehler, den ich selbst bei sehr erfahrenen Praktikern sehe, ist, dass sie nicht ...