機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発

3章Transformerの詳細

「2章　テキスト分類」では、Transformerのファインチューニングと評価に必要なことを見てきました。今度はその内部がどのように動作しているかを見てみましょう。本章では、Transformerの主な構成要素と、PyTorchを使った実装方法を紹介します。また、TensorFlowで同じことをする方法についても説明します。まず、アテンション機構を構築することに焦点を当て、次にTransformerのエンコーダを動作させるために必要な要素を追加していきます。同時に、エンコーダモジュールとデコーダモジュールのアーキテクチャの違いについても簡単に見ていきます。本章の終わりには、簡単なTransformerモデルを自分で実装できるようになるでしょう。

一般的に、 Transformersを使用し、モデルをファインチューニングするのにTransformerのアーキテクチャに関する深い技術的な理解は必要ありません。しかし、Transformerの限界を理解しておけば、新しいドメインで使用する際に役立つことがあります。

また、本章では、近年登場したTransformer系のモデルを理解するために、Transformerの分類法を紹介します。コードを書く前に、Transformer革命を起こしたオリジナルのアーキテクチャの概要から始めましょう。

3.1　Transformerのアーキテクチャ

「1章　入門 Transformers」で見たように、オリジナルのTransformerは ...