機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発

まえがき

2017年の登場以来、Transformerは、学術界と産業界の両方で幅広い自然言語処理（NLP）タスクに取り組むためのデファクトスタンダードとなっています。そのため、気づかぬうちに使っていることもあります。たとえば、Googleはユーザーの検索クエリをより深く理解し、検索エンジンを改善するためにBERTを使っています。同様に、OpenAIのGPT系のモデルは、人間が生み出したようなテキストや画像を生成する能力を持っているとメディアで何度も取り上げられてきました†1。GitHub Copilot（https://copilot.github.com）のようなアプリケーションでも使われています。Copilotでは、図1に示すように、コメントをソースコードに変換できます。

[†1] NLPの研究者は、自分の仕事に「セサミストリート」の登場人物の名前を付ける傾向があります。これらの略語の意味については、「1章　入門 Transformers」で説明します。

図1:　GitHub Copilotの例。タスクの簡単な説明を与えると、クラス全体を提案する（class以下はすべて自動生成）

では、この分野を一夜にして変えてしまったTransformerとは、いったい何なのでしょうか。多くの偉大な科学的ブレークスルーがそうであるように、それはアテンション、転移学習、ニューラルネットワークのスケールアップといった、当時の研究コミュニティで浸透していたアイデアを組み合わせたものでした。 ...