実践 時系列解析 ―統計と機械学習による予測

11章誤差の測定

これまでの章では、様々な指標を使って、モデル間の比較やモデルの作業成果の判断を行ってきました。本章では、予測精度の見積もりのベストプラクティスを、時系列データに固有の懸念に重点を置いて検討します。

時系列予測を始めたばかりの人に最も大切なことは、通常、標準的な交差検証は勧められないことを理解することです。データサンプルを時間非依存的な方法でランダムに選んで、訓練、検証、およびテスト用の各データセットにすることはできないのです。

それだけではありません。異なるデータサンプル同士が独立なように見える場合でも、両者が時間的にどう関係しているかを考える必要があります。例えば、時系列の分類問題に取り組んでいて、それぞれが独自のデータである個別の時系列のサンプルが多数あるとします。この場合には、訓練、検証、テスト用にこれらの時系列サンプルからランダムに選んでよいとつい考えたくなりますが、それを実行するのは間違いです。このアプローチが間違っているのは、モデルの使い方、すなわち、時間的に前のデータで訓練し、後のデータでテストするという使い方を反映していないからです。

未来の情報をモデルに漏出してはいけません。現実世界のモデリングでは起きない状況だからです。これをすると、ひいては、モデルの予測誤差は、テスト時の方が本番稼働時よりも小さくなります。なぜなら、テスト時に、未来の情報がもたらされるように、モデルを交差検証しているからです（つまり、どのモデルを使用するかのフィードバックとして）。

これが起きる具体的な筋書きを見てみましょう。アメリカ西部の主要都市の大気質監視モデルを訓練しているとします。訓練用データセットには、サンフランシスコ、ソルトレークシティ、デンバー、サンディエゴの、2017年と2018年分の全データを含めました。テスト用データセットには、同じ期間のラスベガス、ロサンゼルス、オークランド、フェニックスのデータを含めたとします。すると、大気質モデルの成績は、ラスベガスとロサンゼルスで特に良く、2018年では全体的に非常に良いものでした。素晴らしい結果です！ ...