Deep Learning für Programmierer mit fastai und PyTorch

Kapitel 10. NLP-Tiefgang: RNNs

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Kapitel 1 haben wir gesehen, dass Deep Learning verwendet werden kann, um großartige Ergebnisse mit natürlichen Sprachdatensätzen zu erzielen. Unser Beispiel beruhte auf der Verwendung eines vortrainierten Sprachmodells und dessen Feinabstimmung, um Rezensionen zu klassifizieren. Dieses Beispiel verdeutlicht einen Unterschied zwischen Transfer Learning im NLP und Computer Vision: Im NLP wird das vortrainierte Modell in der Regel für eine andere Aufgabe trainiert.

Ein Sprachmodell ist ein Modell, das darauf trainiert wurde, das nächste Wort in einem Text zu erraten (nachdem es die vorangegangenen Wörter gelesen hat). Diese Art von Aufgabe nennt man selbstüberwachtes Lernen: Wir brauchen unserem Modell keine Bezeichnungen zu geben, sondern füttern es einfach mit einer Menge von Texten. Die Aufgabe ist nicht trivial: Um das nächste Wort in einem Satz richtig zu erraten, muss das Modell ein Verständnis für die englische (oder andere) Sprache entwickeln. Selbstüberwachtes Lernen kann auch in anderen Bereichen eingesetzt werden; siehe z. B."Selbstüberwachtes Lernen und Computer Vision" für eine Einführung in Anwendungen der Bildverarbeitung. Selbstüberwachtes Lernen wird in der Regel nicht für das Modell verwendet, das direkt trainiert wird, sondern für das Vortraining eines Modells, das für das Transferlernen verwendet ...