機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発

訳者まえがき

2017年、Googleの研究者たちによる1本の論文「Attention Is All You Need」が公開されました。その論文で提案されたのが、自然言語処理のさまざまなタスクで優れた結果を残したアーキテクチャであるTransformerです。Transformerをベースとしたモデルは、機械翻訳や質問応答、固有表現認識などのさまざまなタスクで高い性能を記録し、それまでの自然言語処理で使われていたリカレントニューラルネットワーク以上に使われるようになりました。

とはいえ、Transformerがここまで普及した理由は、その性能だけでなく、使いやすいライブラリがあったことに起因するのは間違いないでしょう。そのライブラリこそまさに本書のタイトルにもあるTransformersです。Transformersを利用することで、機械学習エンジニアは事前学習済みモデルを利用した学習を簡単にできるようになりました。それに加えて、学習したモデルを共有することも容易にできることが、研究から実用までのサイクルがこれまでとは桁違いに早くなった要因と言えるでしょう。

Transformersについて書かれた書籍は何冊かありますが、本書が特別なのは、Transformersの開発者たちによって書かれている点でしょう。Transformersや機械学習を深く理解した著者たちが、Transformersライブラリとその周辺のエコシステムについてわかりやすく解説しています。自然言語処理のタスクを解決する方法を解説した本はたくさんありますが、蒸留、量子化、枝刈り、ONNX Runtimeを使ったモデルの高速化技術、ラベル付きデータが少ないときに使えるゼロショット学習や少数事例学習、その他、類書では扱っていない多言語転移やドメイン適応といった技術についても解説しているのが本書の特徴です。 ...