160本の論文を体系的に調査した、分野初の総合レビューが出版され、IJCAI 2021に受理されました。

[[397024]]

ドメイン一般化 (DG) は近年非常に人気のある研究方向となっています。研究する問題は、未知の（Unseen）テスト セットでより良い結果を達成するために、異なるデータ分布を持つ複数のデータ セット（ドメイン）から強力な一般化能力を持つモデルを学習することです。

この記事では、DG 分野における初のレビュー記事「未知のドメインへの一般化: ドメイン一般化に関する調査」を紹介します。この論文では合計160件の論文を調査しましたが、そのうち90件はドメイン一般化に直接関係していました。この記事では、問題の定義、理論的分析、方法の概要、データセットとアプリケーションの紹介、将来の研究の方向性など、いくつかの側面からドメイン一般化問題の詳細な概要と結論を示します。

この論文の簡略版は、人工知能に関する最高峰の国際会議であるIJCAI-21に採択されました。

記事リンク:
https://arxiv.org/abs/2103.03097

PDF: https://arxiv.org/pdf/2103.03097

著者ユニット: Microsoft Research Asia、中央財経大学

問題の定義

ドメイン一般化問題とドメイン適応 (DA) の最大の違いは、DA トレーニングではソース ドメインとターゲット ドメインの両方のデータにアクセスできる (教師なし DA ではラベルなしのターゲット ドメイン データのみが利用可能) のに対し、DG 問題ではトレーニング用にアクセスできるのはいくつかのソース ドメイン データのみで、テスト データにはアクセスできないことです。 DG が DA よりも困難で実用的なシナリオであることは間違いありません。結局のところ、私たちは皆、「一度トレーニングすればどこにでも適用できる」十分に一般化された機械学習モデルを好みます。

たとえば、下の図では、DA 問題ではトレーニング セットとテスト セットの両方がトレーニング中にアクセス可能であると想定していますが、DG 問題ではトレーニング セットのみがあります。

DG 問題の概略図を以下に示します。正式な定義は次のとおりです。

DG は DA 問題との類似点があるだけでなく、マルチタスク学習、転移学習、メタ学習、生涯学習などともいくつかの類似点と相違点があります。それらの違いを以下の表にまとめます。

理論

まずドメイン適応理論から始めて、-ダイバージェンス、-ダイバージェンスなど、異なるドメインでの学習結果に影響を与える要因を分析し、次にドメイン一般化問題に移行して、新しいドメインへのモデルの一般化に影響を与える要因を分析します。ドメイン一般化問題の重要な結果が理論的にまとめられ、将来の関連研究の理論的方向性が示されています。

詳細な結果については、元の論文のセクション 3 を参照してください。

方法

ドメイン一般化手法が私たちの中核です。既存のドメイン一般化手法は、下図に示すように、データ操作、表現学習、学習戦略の 3 つの側面に分類されます。

で：

データ操作とは、データを強化および変更することでトレーニング データを強化することを指します。このカテゴリには、データ拡張とデータ生成の 2 つの部分が含まれます。

表現学習とは、モデルをさまざまなドメインに適切に適応できるように、ドメイン不変の特徴 (ドメイン不変表現学習) を学習することを指します。ドメイン不変特徴学習には、主にカーネル法、明示的な特徴アライメント、ドメイン敵対的トレーニング、不変リスク最小化 (IRM) の 4 つの部分が含まれます。特徴分離とドメイン不変特徴学習は、同じ目標を持っていますが、学習方法が異なります。これらを別のカテゴリとして紹介します。

学習戦略とは、機械学習における成熟した学習モデルをマルチフィールドトレーニングに導入して、モデルをより一般化できるようにすることです。この部分には、主にアンサンブル学習とメタ学習に基づく方法が含まれます。また、ドメイン一般化における自己教師あり学習法の応用など、他の手法も紹介します。

この記事では、各主要カテゴリのメソッドを詳しく紹介し、まとめます。

アプリケーションとデータセット

ドメイン一般化問題は多くの分野で広く利用されてきました。既存の研究のほとんどは、より優れた DG 手法の設計に重点を置いているため、画像分類データで評価されることがよくあります。さらに、DG メソッドは、歩行者再識別 (Re-ID)、セマンティック セグメンテーション、街頭シーン認識、ビデオ理解などの主流のコンピューター ビジョン タスクにも適用されています。

特に、DG 方式は、パーキンソン病の特定、組織のセグメンテーション、胸部 X 線認識、振戦の検出など、ヘルスケア分野で広く使用されています。

自然言語処理の分野では、DG は感情分析、セマンティックセグメンテーション、Web ページ分類などのアプリケーションで使用されます。

DG は、強化学習、自動制御、障害検出、音声検出、物理学、脳コンピューターインターフェースなどの分野でも広く使用されています。

下の図は、ドメイン一般化問題に対する一般的な標準データセットを示しています。

今後の課題

DG については、次のような見通しを持っています。

継続的なドメインの一般化: システムは継続的に一般化および適応する能力を持つ必要がありますが、これは現在、オフライン状態での 1 回限りのアプリケーションにすぎません。

新しいカテゴリへのドメインの一般化: 現在はすべてのドメインが同じカテゴリを持つと想定していますが、将来的には異なるカテゴリや新しいカテゴリに拡張する必要があります。

解釈可能なドメインの一般化: 分離ベースの方法は解釈可能性の面で進歩しましたが、他の主要なカテゴリの方法の解釈可能性はまだ強力ではありません。今後、それらの解釈可能性に関するさらなる研究が必要です。

大規模な事前トレーニングとドメインの一般化: ご存知のとおり、大規模な事前トレーニング (BERT など) が主流になっています。では、さまざまな問題に対する大規模な事前トレーニングにおいて、DG メソッドを使用してこれらの事前トレーニング済みモデルの一般化能力をさらに向上させるにはどうすればよいでしょうか。

ドメイン一般化の評価: 既存のドメイン一般化手法の有効性は経験的リスク最小化よりもそれほど優れていないことが経験的に示されている研究もありますが、これは最も単純な分類タスクに基づくものにすぎません。 DG の有効性を最大限に高めるには、人物の再識別などの特定のテストで使用する必要があると考えます。将来的には、DG の問題により適したアプリケーション シナリオを見つける必要があります。