Transformer実践ガイド ―画像・音声・時系列からエージェントまで

2章時系列データのためのTransformer

Transformerは、再帰型ニューラルネットワーク（recurrent neural network：RNN）モデルよりも長い系列内の相互作用を効果的に捉えられるため、時系列モデリングで広く利用されるようになっています。Transformerの標準的な自己アテンションでは、系列内の各要素が他のすべての要素を直接参照できるため、要素間の信号伝播経路の最大長はです。これは長距離依存関係の学習に有利です。こうした特徴により、Transformerは長系列時系列予測（long sequence time-series forecasting：LSTF）だけでなく、異常検知や時空間予測などの領域でも大きな可能性を示しています。

天気予報、交通予測、産業プロセス制御、電力消費計画など、多くの実世界のアプリケーションでは、長い時系列を予測する必要があります。LSTFでは、入力と出力の間に存在する精緻な長距離依存関係を効率的に捉えられる、高い予測能力を持つモデルが求められます。

さらに、確率的時系列予測（probabilistic time series forecasting）は、金融、天気予報、コンピュータシステム性能の管理など、多くの実用的なアプリケーションで重要なタスクです。これらの分野で適切な意思決定を行うには、高精度な確率的予測が不可欠です。確率的時系列予測は、将来の値を単一の予測値として示すのではなく、起こり得る将来の結果全体に対する確率分布を推定する手法です。 ...