Transformer実践ガイド ―画像・音声・時系列からエージェントまで

まえがき

私がTransformerに取り組み始めたのは2019年のことです。たちまちその可能性に魅了されました。その2年後には、アテンションに基づく独自の深層学習アーキテクチャを構築し、同じ年にVision Transformerを扱う大学の講義を初めて担当しました。当時から現在まで、私を惹きつけ続けているのは、このアーキテクチャの並外れた汎用性です。Transformerの仕組みを理解すると、画像、動画、音声をはじめとする異なる領域に、同じ原理が通底していることが見えてきます。本質は、深層学習でありがちなように各領域を別々の問題として捉えることではありません。Transformerアーキテクチャが領域を越えて自然に拡張できることを理解する点にあります。

離散トークン、画像パッチ、スペクトログラムのフレームのいずれを扱う場合でも、中核となる考え方は変わりません。入力の表現単位は異なっても、基盤となるアーキテクチャは共通しています。少なくとも私にとって、そこにTransformerの美しさがあります。その魅力を読者の皆さんと共有し、それぞれのペースで発見してもらいたい。それが、本書を書いた理由です。

もう1つ私が関心を寄せているのは、Transformerをより大きなシステムに組み込んだときに生まれる能力です。Transformerの真の力は、複数のモデルを組み合わせ、推論、行動、試行錯誤を繰り返すエージェントを構成したとき現れます。単にモデルを接続するだけでなく、最近の私の関心は、Transformerをテスト時計算や強化学習と組み合わせることにあります。これらの考え方を組み合わせることで、自らの行動結果から学び、改善し、学習するシステムを構築できるようになります。これが、私が自己改善型AIエージェントに関する博士研究に取り組むきっかけとなりました。 ...