革新的なトランスフォーマー！清華大学はSOTAを実現する長期時系列予測のための新しいバックボーンネットワークを提案

[[410176]]

予測時間を可能な限り延長することが時系列予測の中心的な課題であり、エネルギー、輸送、経済の長期計画、気象災害や病気の早期警報などにとって非常に重要です。

清華大学ソフトウェア学院の機械学習研究室の研究者らは最近、情報が限られている場合に長期的な未来を予測するという困難な問題を検討した論文を発表した。

上記の問題に対処するために、著者らはTransformerに大幅な革新を加え、長期時系列予測でSOTAを達成し、効率とパフォーマンスの点でTransformerとそのバリアントを上回る新しいAutoformerモデルを提案しました。

論文リンク:
https://arxiv.org/abs/2106.13008

背景

Transformer ベースのモデルは最近、時系列予測において一連の進歩を遂げていますが、Transformer の固有の設計では、長期シーケンスを扱う際にまだいくつかの欠点があります。

予測時間が長くなると、自己注意メカニズムを直接使用して複雑な時間パターンから信頼性の高い時間依存性を見つけることが難しくなります。
自己注意の二次複雑性の問題により、モデルはスパースバージョンを使用する必要がありますが、これにより情報利用の効率が制限され、予測効果に影響します。

著者は、時系列分析の古典的な方法とランダムプロセスの古典的な理論に触発されてモデルを再設計し、元の Transformer アーキテクチャを破壊して、Autoformer モデルを取得しました。

深層分解アーキテクチャ: 時系列分解を前処理として使用する従来の方法を打ち破り、シーケンス分解ユニットは深層モデルを組み込むように設計されており、段階的な予測を実現し、より予測可能なコンポーネントを徐々に取得します。
自己相関メカニズム: ランダムプロセスの理論に基づいて、ポイント単位の接続の自己注意メカニズムを破棄し、シリーズ単位の接続の自己相関メカニズムを高度な複雑さで実装し、情報利用のボトルネックを解消します。
長期予測の問題に対応して、Autoformer はエネルギー、輸送、経済、気象、疾病の 5 つの主要分野でパフォーマンスを 38% も大幅に向上させました。

方法の紹介

著者らは、内部シーケンス分解ユニット、自己相関メカニズム、および対応するエンコーダーとデコーダーを含む Autoformer モデルを提案しました。

（１）深層分解アーキテクチャ

オートフォーマーアーキテクチャ

時系列分解は時系列分析の古典的な方法であり、時系列を周期項、トレンド項などのいくつかの種類の潜在的な時間パターンに分解できます。

予測タスクでは、未来が予測不可能であるため、通常は最初に入力を分解し、次に各コンポーネントを個別に予測します。

しかし、これにより予測結果は分解効果に限定され、長期的な将来におけるさまざまなコンポーネント間の相互作用は無視されます。

上記の問題に対処するために、著者らは、予測プロセス中に潜在変数からトレンド項とサイクル項を徐々に分離して漸進的分解を実現する、深層分解アーキテクチャを提案しました。

さらに、このモデルは予測結果の最適化とシーケンス分解を交互に実行し、両者の相互促進を実現できます。

A. シーケンス分解ユニット

スライディング平均の考え方に基づいて、時系列を平滑化し、周期項とトレンド項を分離します。

このうち、は分解される潜在変数、はそれぞれトレンド項と期間項であり、上記の式はとして記録されます。

B. コーデック

エンコーダー: 上記の分解ユニットを通じて、モデルは周期的な項を分離できます。この周期性に基づいて、自己相関メカニズムはさらに、異なる期間の同様のサブプロセスを集約するために使用されます。

デコーダー: トレンド項目と期間項目を個別に予測します。

周期的な項目の場合、自己相関メカニズムを使用して、シーケンスの周期的な性質に基づいて依存関係マイニングを実行し、同様のプロセスを持つサブシーケンスを集約します。
トレンド項目については、予測された潜在変数からトレンド情報を徐々に抽出するために累積的なアプローチが使用されます。

（２）自己相関メカニズム

異なる期間の類似したフェーズは通常類似したサブプロセスを示すことを観察し、シーケンスの固有の周期性を利用して、効率的なシーケンスレベルの接続のための自己相関メカニズムを設計します。

自己相関メカニズムには、期間ベースの依存関係と時間遅延の集約が含まれます。

自己相関メカニズム、右側は遅延情報の集約である

A. サイクルベースの依存関係の検出

上記の観察に基づいて、同様のサブプロセスを見つけるには、シーケンスの周期を推定する必要があります。ランダム過程の理論に基づいて、実際の離散時間過程の自己相関係数は次のように計算できます。

自己相関係数は、シーケンスとその遅延間の類似性を表します。

自己相関メカニズムでは、この時間遅延の類似性は、正規化されていない周期推定値の信頼度、つまり周期長の信頼度と見なされます。

実際、ウィーナー・ヒンチン理論に基づいて、自己相関係数は高速フーリエ変換 (FFT) を使用して取得でき、計算プロセスは次のようになります。

このうち、とはそれぞれ FFT とその逆変換を表します。したがって、複雑さはです。

B. 遅延情報の集約

シーケンスレベルの接続を実現するには、類似のサブシーケンス情報を集約する必要があります。自己相関メカニズムは、推定された期間の長さを使用して、まず情報を整列させ、次にそれを集約します。

ここでは、クエリ、キー、値のマルチヘッド形式が引き続き使用されるため、自己注意メカニズムをシームレスに置き換えることができます。

同時に、無関係な位相や反対の位相がマージされるのを避けるために、最も可能性の高いサイクル長が選択されます。自己相関メカニズム全体の複雑さは依然として残っています。

C. 比較分析

自己相関メカニズムと自己注意メカニズムの比較

従来のポイントツーポイントアテンションメカニズムまたはそのスパースバリアントと比較して、自己アテンション (自動相関) メカニズムは、シーケンスレベルでの効率的な接続を実現し、情報をより適切に集約して情報利用のボトルネックを解消します。

実験

著者らは、エネルギー、輸送、経済、気象、疾病の 5 つの主要分野をカバーする 6 つのデータセットでテストを実施しました。

（１）主な結果

全体的な実験結果

Autoformer は、複数のフィールドのデータセットとさまざまな入出力長さ設定で、一貫した最先端 (SOTA) の結果を達成しました。

input-96-predict-336 設定では、以前の SOTA 結果と比較して、Autoformer は ETT エネルギーデータセットで 74% の MSE 改善、電力エネルギーデータセットで 24% の MSE 改善、Exchange 経済データセットで 64% の MSE 改善、交通データセットで 14% の MSE 改善、天気データセットで 26% の MSE 改善を達成しました。input-24-predict-60 設定では、ILI 疾患データセットが 30% 改善されました。

上記の 6 つのデータセットでは、Autoformer によって MSE インジケーターが平均 38% 向上します。

（２）比較実験

ディープ分解アーキテクチャの普遍性: 提案されたディープ分解アーキテクチャを他の Transformer ベースのモデルに適用すると、大幅な改善が達成され、アーキテクチャの普遍性が検証されます。

同時に、予測時間が長くなるにつれて改善効果がより顕著になり、複雑な時間パターンが長期予測の核心的な問題であることが確認されました。

ETT データセットの MSE インジケーターの比較。Origin は直接予測、Sep は予測前の分解、Ours は深い分解アーキテクチャを表します。

自己相関メカニズムと自己注意メカニズム: 自己相関メカニズムも深層分解アーキテクチャに基づいており、従来の Transformer の Full Attention や Informer の PropSparse Attention など、多くの入出力設定において自己注意メカニズムとそのバリアントよりも一貫して優れたパフォーマンスを発揮します。

上記の結果を得るために、Autoformer の自己相関メカニズムを他の自己注意メカニズムに置き換えて、ETT データセットで比較実験を実施しました。

（３）モデル分析

タイミング依存性の視覚化:

シーケンスの最後の時点では、各モデルによって学習された時間的依存関係が視覚化され、図 (a) の赤い線は学習されたプロセスの場所を示しています。

上の図は、Autoformer の自己相関メカニズムが、誤認や識別漏れなく各サイクルで下降プロセスを正しく検出できるのに対し、他の注意メカニズムでは省略やエラーが発生することを示しています。

効率分析:

効率比較、赤い線は自己相関メカニズム

メモリ使用量と実行時間の両方の点で、自己相関メカニズムは優れた空間効率と時間効率を示し、両方の面で自己注意メカニズムとそのスパースバリアントを上回り、効率的な複雑性を実証しました。