Transformer実践ガイド ―画像・音声・時系列からエージェントまで

7章強化学習におけるTransformer

強化学習（reinforcement learning：RL）は、環境からのフィードバックをもとに、逐次的な意思決定の方法を学習する枠組みです。やり取りを通じて学ぶという考え方自体は、決して新しいものではありません。私たちも日常生活の中で、周囲の反応を観察しながら行動を調整しています。

たとえば、子どもの頃に、物に触れたり、口に入れたりして、周囲がどのように反応するかを確かめた経験があるかもしれません。あるいは、猫のしっぽを引っ張って引っかかれた経験から、次は同じことをしないように学ぶこともあります。このような経験を重ねることで、「猫のしっぽは引っ張らない」といった将来の行動に対する方針を身につけていきます。

この学習過程は、強化学習エージェントの動作とよく似ています。そこで本章では、環境とのやり取りを通じて学習するという直感的な理解を出発点として、強化学習の主要な概念を解説します。まず、オンライン学習とオフライン学習、モデルベース手法とモデルフリー手法、方策オン型強化学習と方策オフ型強化学習の違いを取り上げ、従来の強化学習アルゴリズムを理解するための基礎を整理します。

そのうえで、強化学習におけるTransformerアーキテクチャの発展を見ていきます。具体的には、Decision Transformer、Online Decision Transformer、Efficient Stochastic Transformer-Based World Modelsなどを取り上げ、Transformerが強化学習の問題設定にどのように適用されているのかを学びます。

7.1　強化学習の基本要素

強化学習では、エージェントと環境のやり取りを、通常、 ...