時空間予測に適した時系列表現学習法

最近、香港科技大学、上海AIラボなどの組織が共同で時系列の教師なし事前トレーニングに関する論文を発表しました。従来のTS2Vecなどの時系列表現学習の研究と比較すると、その核心は事前トレーニング段階に空間情報を統合することを提案すること、つまり事前トレーニング段階で各シーケンス間の関係を考慮することです。したがって、本論文で提案された方法は、時空間予測の分野における事前トレーニングモデルとしてもより適していると言えます。以下はこの記事の詳細な紹介です。

論文タイトル: 時空間ブートストラッピングによる相関時系列自己教師表現学習

ダウンロードアドレス: https://arxiv.org/abs/2306.06994

1. 背景

過去の研究では、時系列の教師なし事前トレーニングに関する研究が数多く行われており、一般的には時系列エンコーダの自己教師トレーニングに対照学習の考え方が使用されています。しかし、歴史研究には3つの欠点があります。

1 つ目は、これまでのほとんどの手法ではシーケンス全体の表現を学習するのに対し、時系列予測タスクでは各時間ステップの表現に重点が置かれているため、上流タスクと下流タスクの間に一定の非互換性があるということです。

2 つ目は、過去の研究ではすべて、個々のシーケンス間の関係を考慮せずに、単一の時系列自体に対して事前トレーニングを実行していたことです。

3 点目は、従来の対照学習事前トレーニング方法では、負のサンプルを構築する過程で疑似負のサンプル問題 (つまり、構築された負のサンプルは実際には正のサンプルであるべき) に頻繁に遭遇し、モデル効果に悪影響を及ぼしていたことです。

上記 3 つの問題に対して、本論文では一連の解決策を提案しています。その核となるのは、事前学習段階で時間的関係と空間的関係の両方を考慮し、対照学習フレームワークをポジティブサンプルに依存しない BYOL に変更することです。

写真

2. モデルの詳細

本論文で提案するモデルの中核構造を下図に示します。その中核は、一方では時空間情報を対照学習に統合する方法であり、他方では対照学習フレームワークのアップグレードです。

時系列の場合、時間次元と空間次元の両方での比較学習が必要であり、時間情報と空間情報は事前トレーニング段階に同時に統合される必要があります。時間ディメンションについては、この論文ではスライディングウィンドウアプローチを使用して、シーケンスの 2 つの重複するサブシーケンスを生成します。そのうちの 1 つは時間ディメンションのビューとして使用され、もう 1 つはターゲットとして使用されます。このうち、View 部分はランダムマスクを使用して、いくつかの時間ステップのサンプルポイントをカバーします。時間次元における対照学習、つまり、ビューと時間ターゲット間の対照学習を使用します。

空間次元では、ノード間の位相関係に従って、現在のシーケンスの隣接シーケンスがランダムにサンプリングされ、スライディングウィンドウも使用してサブシーケンスが生成されます。このシーケンスは、ビューの空間次元ターゲットとして使用され、対照学習は、ビューと空間ターゲット間の距離を狭めるために使用されます。

本論文では、上記の 2 種類のサンプルを取得した後、BYOL の対照学習フレームワークを採用して負のサンプルの構築を回避し、疑似負のサンプルの問題を解決します。 BYOL は、ポジティブサンプルのみに依存する対照学習フレームワークです。元の論文の具体的なアプローチは、モデル構造がまったく同じでパラメータが異なる 2 つのオンラインネットワークとターゲットネットワークを使用することです。ターゲットネットワークのパラメータは、オンラインネットワークパラメータのスライド平均であり、ターゲットネットワークの出力は、オンラインネットワークの予測ターゲットを表します。ターゲット部分は、損失に応じてパラメータを更新しません。つまり、陽性サンプル 1 から陽性サンプル 2 への予測を実現するために、2 セットのパラメータが使用されます。

写真

この論文では、同様のアプローチを使用して、部分的にマスクされたビューを使用して時間ターゲットと空間ターゲットを同時に予測します。モデルの損失には、時間部分と空間部分の対応する比較学習損失が含まれます。モデルの具体的な構造は TCN 構造（本体はホール畳み込み）を採用しており、View と Target のモデルパラメータは共有されません。