Transformer実践ガイド ―画像・音声・時系列からエージェントまで

8章経験の時代を受け入れる：計画、推論、コーディングのためのTransformer

本章では、Transformerをめぐる重要な転換点を扱います。これまでのAIは、人間が作成したデータを中心に学習するアプローチに大きく依存してきました。しかし現在は、モデル自身が相互作用を通じて経験を積み、そこから学習する方向へと進みつつあります。この変化は、Transformerをどのように利用し、さらに発展させるかを考えるうえで重要です。

ここまで、Transformerがさまざまなドメインのデータモデリングに適応してきたことを見てきました。対象は、言語や時系列から、画像、動画、音声、そして「7章　強化学習におけるTransformer」で扱った強化学習まで広がります。「7章　強化学習におけるTransformer」では、この新しい時代を理解するための基礎を築きました。Transformer研究の次のフロンティアは、単に「何であるか」を理解することではありません。重要なのは、「何をすべきか」を学習することです。すなわち、世界との能動的な相互作用を通じて、計画し、推論し、新しい知識を生み出すことです。

本章では、Transformerベースのモデルがこうした能力を備えるために、どのように設計されているかを学びます。具体的には、経験から学習することで、Transformerが計画、推論、コーディングにおいて高い性能を発揮できるようにする、さまざまなアプローチとアーキテクチャを見ていきます。

まず、継続的な相互作用の流れをモデルがどのように処理するかを確認します。さらに、モデルが行動を実行し、その行動が実際にもたらす結果を観測し、客観的に検証可能な報酬を使って自己改善する仕組みを見ていきます。また、人間とは異なる新しい推論戦略をモデルが発達させる可能性についても扱います。 ...