PyTorch によるコーダーのための AI および ML

第8章. MLを使ってテキストを作成する

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

2022年にChatGPTがリリースされ、 、ジェネレーティブAIという言葉が一般的な辞書に載った。クラウドベースのAIとチャットができるこのシンプルなアプリケーションは、人間の経験のほとんどすべてに関する知識であなたのクエリに答えることができるという点で、ほとんど奇跡的に思えた。トランスフォーマーと呼ばれるテクニックを使うことで、前章で見たリカレント・ニューラル・ネットワークを超える非常に高度な進化を遂げた。

トランスフォーマーは、あるテキストを別のテキストに変えるパターンを学習する。十分な大きさのトランスフォーマーアーキテクチャと、学習するのに十分な大きさのテキストセットがあれば、、GPTモデル（GPTはgenerative prerained transformersの略）は、テキストの一部に続く次のトークンを予測することができる。GPTがユーザフレンドリなアプリケーションに包まれたとき、まったく新しい産業が誕生した。

トランスフォーマーによるモデル作成は本書の範囲外であるが、第15章ではそのアーキテクチャを詳しく見ていく。

トランスフォーマーを使ったモデルのトレーニングに関わる原則は、RNNやLSTMのような、より小さくシンプルなアーキテクチャでも再現できる。この章では、伝統的なアイルランドの歌という、より小規模なテキスト・コーパスを用いて、その点を探っていく。

例えば、有名なテレビ番組のテキストの行を考えてみよう：

あなたは何も知らない、ジョン・スノウ

RNNで作成されたネクストトークン予測モデルは、レスポンスとしてこのような歌詞を導き出した：

• あなたは何も知らない、ジョン・スノウ

• 彼が駐屯している場所が

• コークだろうが青い鳥の息子だろうが

• 夏に向けて出航した

• 古く甘く長く、喜びが鳴り響く

• だから私は野生のコリーンが死ぬのを待つだろう

このテキストは、小さなコーパスで訓練された非常に単純なモデルによって生成された。改行と記号を追加することで少し改良したが、最初の行以外はすべて、この章で構築方法を学ぶモデルによって生成された歌詞だ。野生のコリーンが死ぬことに触れているのはちょっとクールだ-ジョン・スノウが登場する番組を見たことがあれば、その理由がわかるだろう！

最後の数章では、テキストベースのデータでPyTorchをどのように使うことができるかを見てきた。最初にニューラルネットワークで処理できる数列にトークン化し、次に埋め込みを使ってベクトルを使ってセンチメントをシミュレートし、最後にディープニューラルネットワークとリカレントニューラルネットワークを使ってテキストを分類する。われわれは、小規模で単純な皮肉データセットを使って、このすべてがどのように機能するかを説明した。

この章では、既存のテキストを分類する代わりに、テキストを予測し、テキストを生成できるニューラルネットワークを作成する。

テキストのコーパスが与えられると、ネットワークはテキスト内の単語のパタ ーンを学習・理解しようと試みる。そうすることで、 、シードと呼ばれ る新しいテキストが与えられると、次に来る単語を予測できるようになる。一旦ネットワークがそれを得ると、シードと予測された単語が新しいシードとなり、次の単語を予測できるようになる。こうして、テキストのコーパスで訓練されると、ニューラルネットワークは同じようなスタイルで新しいテキストを書こうとすることができる。先の詩を作成するために、私はアイルランドの伝統的な歌から歌詞を集め、それを使ってニューラルネットワークを訓練し、単語を予測するのに使った。 ...