機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発

5章テキスト生成

Transformerベースの言語モデルのもっとも不思議な特徴の1つは、人間が書いたテキストとほとんど区別がつかないテキストを生成できることです。有名な例としてはOpenAIのGPT-2があります。たとえば、次のようなプロンプトが与えられたとしましょう†1。

[†1] この例は、OpenAIのGPT-2に関するブログ記事（https://openai.com/blog/better-language-models）から引用しています。

In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English.

すると、GPT-2は、次のようにユニコーンについて語っている魅力的なニュース記事を生成できました。

The scientist named the population, after their distinctive horn, Ovid's Unicorn. These four-horned, silver-white unicorns were previously unknown to science. Now, after almost two centuries, the mystery of what sparked this odd phenomenon is ...