Generatives Deep Learning, 2. Auflage

Kapitel 9. Transformatoren

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Kapitel Ziele

In diesem Kapitel lernst du:

• Erfahre mehr über die Ursprünge von GPT, einem leistungsstarken Decoder-Transformer-Modell für die Texterstellung.

• Lerne konzeptionell, wie ein Aufmerksamkeitsmechanismus unsere Art nachahmt, einigen Wörtern in einem Satz mehr Bedeutung beizumessen als anderen.

• Erfahre, wie der Aufmerksamkeitsmechanismus von Grund auf funktioniert und wie Abfragen, Schlüssel und Werte erstellt und manipuliert werden.

• Siehe die Bedeutung der kausalen Maskierung für Textgenerierungsaufgaben.

• Verstehe, wie Aufmerksamkeitsköpfe zu einer mehrköpfigen Aufmerksamkeitsebene gruppiert werden können.

• Sieh dir an, wie Multihead-Attention-Layer einen Teil eines Transformer-Blocks bilden, der auch Layer-Normalisierung und Skip-Verbindungen enthält.

• Erstelle Positionskodierungen, die sowohl die Position jedes Tokens als auch die Einbettung des Wort-Tokens erfassen.

• Erstelle ein GPT-Modell in Keras, um den Text in Weinrezensionen zu generieren.

• Analysiere die Ergebnisse des GPT-Modells, einschließlich der Abfrage der Aufmerksamkeitswerte, um zu sehen, wo das Modell hinschaut.

• Erfahre mehr über die verschiedenen Arten von Transformatoren, einschließlich Beispielen für die Arten von Aufgaben, die von ihnen bewältigt werden können, und Beschreibungen der bekanntesten modernen Implementierungen. ...