機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発

序文

皆さんがこの行を読んでいるとき、奇跡が起きています。このページに書かれた文字列は、皆さんの大脳皮質を通過する間に、言葉や概念や感情に変化していくのです。2021年11月に書いた私の思考は、今、皆さんの脳内に侵入することに成功したのです。この厳しい競争の中で、皆さんの注意を引き、生き残ることができれば、皆さんがこの思考をほかの人と共有することによって、再び繁殖するチャンスがあるかもしれません。言語のおかげで、思考は空気感染する、非常に伝染力の強い脳内細菌となりました。しかも、そのワクチンはないのです。

幸いなことに、ほとんどの脳内細菌は無害であり、ごく一部は素晴らしく有用です†1。実は、人類の脳内細菌は、知識と文化というもっとも貴重な2つの宝物を構成しているのです。腸内細菌が健康でなければ消化できないように、脳内細菌が健康でなければ思考できないのです。皆さんの思考のほとんどは、実は皆さんのものではありません。皆さんに感染する前に、ほかの多くの人の脳で発生し、成長し、進化したものです。ですから、もし私たちが知的な機械を作りたいのであれば、その機械にも感染させる方法を見つける必要があります。

[†1] 脳の健康法に関するヒントについては、CGP Greyのミームに関する素晴らしいビデオ（https://youtu.be/rE3j_RHkqJc）をご覧ください。

ここ数年、もう1つの奇跡が起きていることは朗報です。それは、ディープラーニングの飛躍的な進歩により、強力な言語モデルが誕生したことです。本書を読んでいる皆さんは、GPT-3のような言語モデルの驚くべきデモをご覧になったことがあるでしょう。そのような言語モデルに「カエルとワニが出会う」のような短いプロンプトを与えると、文章を書くことができます。シェイクスピアとまではいきませんが、これらの文章が人工ニューラルネットワークによって書かれたとは信じがたいこともあります。実際、GitHub ...