Natural Language Processing mit Transformern

KAPITEL 3

Die Anatomie von Transformer-Modellen

In Kapitel 2 haben Sie erfahren, wie ein Transformer-Modell feingetunt und evaluiert wird. Werfen wir nun einen Blick darauf, wie diese Modelle eigentlich im Kern funktionieren. In diesem Kapitel lernen Sie die wichtigsten Bausteine von Transformer-Modellen kennen und wie Sie sie in PyTorch implementieren können. Darüber hinaus zeigen wir Ihnen, wie sich das Gleiche in TensorFlow umsetzen lässt. Wir werden uns zunächst darauf konzentrieren, den Attention-Mechanismus einzurichten, und nach und nach die einzelnen Komponenten hinzufügen, die notwendig sind, um einen (rein) Encoder-basierten Transformer zu implementieren. Zudem werden wir uns kurz mit den architektonischen Unterschieden zwischen dem ...