Transformer実践ガイド ―画像・音声・時系列からエージェントまで

1章第一原理から最先端のTransformerへ

	「第一原理」とは、他の命題や仮定から導かれるものではなく、推論や説明の出発点となる根本的な前提を指します。本章では、Transformerを理解するための出発点となる基礎概念を指す意味で用いています。

2017年の登場以来、Transformerアーキテクチャ†1は、自然言語処理（natural language processing：NLP）の分野に革命をもたらし、自然言語理解（natural language understanding：NLU）を実現するモデルへのパラダイムシフトを示してきました。この変化を支えたのは、Transformerが系列データを並列に処理し、長短期記憶（long short-term memory：LSTM）ネットワークのような従来の逐次モデルでは難しかった、より深く文脈に即した言語理解を可能にしたことです。

[†1] Ashish Vaswani et al. "Attention Is All You Need"（https://arxiv.org/abs/1706.03762） (2017).

近年、Transformerは当初のNLPにおける用途を超えて、コンピュータビジョン、音声認識、強化学習、数理演算など、幅広い分野に影響を及ぼすまでに発展してきました。その高い適応性により、文脈を踏まえた機械翻訳や、高い精度でタンパク質構造を予測する科学研究などで、大きな発展がもたらされています。