清華大学が転移学習アルゴリズムライブラリをオープンソース化：PyTorch実装に基づき、既存のアルゴリズムの簡単な呼び出しをサポート

最近、清華大学ビッグデータ研究センターの機械学習研究部門は、効率的で簡潔な転移学習アルゴリズムライブラリ Transfer-Learn をオープンソース化し、最初のサブライブラリである Deep Domain Adaptive Algorithm Library (DALIB) をリリースしました。

清華大学ビッグデータ研究センターの機械学習研究部門は、長年にわたり転移学習の研究に取り組んできました。最近、プロジェクト部門は、PyTorch をベースにした効率的で簡潔な転移学習アルゴリズム ライブラリである Transfer-Learn をオープンソース化しました。このライブラリを使用すると、新しいアルゴリズムを開発したり、既存のアルゴリズムを使用したりすることが容易になります。

プロジェクトアドレス: https://github.com/thuml/Transfer-Learning-Library

現在、このプロジェクトでは最初のサブライブラリであるドメイン適応アルゴリズム ライブラリ (DALIB) をリリースしており、次のアルゴリズムをサポートしています。

ドメイン敵対的ニューラルネットワーク (DANN)

ディープアダプテーションネットワーク (DAN)

共同適応ネットワーク（JAN）

条件付きドメイン敵対ネットワーク (CDAN)

最大分類器差異 (MCD)

マージン不均衡不一致 (MDD)

ドメイン適応の背景

現在、ディープラーニング モデルは、一部のコンピューター ビジョンおよび自然言語処理タスクにおいて人間のパフォーマンスを上回っていますが、その成功は通常、大規模なラベル付きデータに依存します。実際のアプリケーション シナリオでは、ラベル付けされたデータが不足していることがよくあります。

ラベル付きデータの不足に対処する 1 つの方法は、コンピューター グラフィックス技術を使用してトレーニング データを合成するなど、コンピューター シミュレーションを通じてトレーニング データを生成することです (下の図を参照)。さらに、ラベル付けされたデータは関連分野から「借用」することもできます。

ただし、このシナリオでは、トレーニング データとテスト データは独立した同一の分布に従わなくなり、トレーニングされたディープ ネットワークの精度が大幅に低下します。データセットのオフセットによって引き起こされる一般化問題を解決するために、ドメイン適応の概念が提案されました。

ドメイン適応の目的は、ソースドメイン (Source) で機械学習モデルによって学習された知識をターゲットドメイン (Target) に転送することです。たとえば、トレーニング データを生成するためのコンピュータ シミュレーションの場合、合成データはソース ドメインであり、実際のシーンのデータはターゲット ドメインです。ドメイン適応は、手動でラベル付けされたデータへのディープラーニングの依存を効果的に軽減し、学界や産業界から広く注目を集めています。画像分類、画像セグメンテーション、ターゲット検出、感情分析、機械翻訳など、多くのタスクで広く使用されています。

アンドリュー・ン氏はかつてこう語った。「教師あり学習に続いて、転移学習が機械学習技術の商業化の次の波をリードするだろう」。チューリング賞受賞者のベンジオ氏も、転移能力はディープラーニングのさらなる発展のための基本的な能力の 1 つであると考えている。実稼働レベルの機械学習アプリケーションがデータの少ない領域に移行するにつれて、教師あり学習によって得られた最先端モデルのパフォーマンスは大幅に低下し、ドメイン適応がますます重要になります。

研究状況

ディープドメイン適応手法には、主に次の 3 つのカテゴリが含まれます。

統計的な距離。ソース ドメインとターゲット ドメイン間の統計的距離を最小化することで、異なるドメイン内の特徴の分布が調整されます。たとえば、ディープ適応ネットワーク DAN とジョイント適応ネットワーク JAN などです。

敵対的トレーニング。ドメイン敵対ネットワーク (DANN) は、ドメイン識別子を導入して、特徴抽出器がドメインに依存しない特徴を学習するように促す最も初期の研究です。条件付きドメイン敵対的ネットワーク (CDAN) や最大分類器差 (MCD) など、DANN に基づいて一連の方法が派生しています。

理論的なインスピレーション。厳密な理論的導出を通じて、マージンダイバージェンス (MDD) などの転移学習の一般化誤差を明示的に制御できるアルゴリズムを取得します。

DANN ネットワーク アーキテクチャの図。

MDD ネットワーク アーキテクチャ図。

上記の方法は、実験データに対して良好なパフォーマンスを示します。しかし、学術界におけるフィールド適応手法のオープンソース実装には現在、次のような問題があります。

再利用性が低い。ドメイン適応法はモデルアーキテクチャとデータセットと結合されているため、新しいモデルやデータセットでのドメイン適応法の再利用には適していません。

安定性が悪い。一部の敵対的トレーニング方法の精度は、トレーニングが進むにつれて大幅に低下します。

これらの欠点を解決するために、ディープ ドメイン適応アルゴリズム ライブラリ (DALIB) を設計した当初の目的は、ドメイン適応モジュールの実装の詳細を考慮することなく、わずか数行のコードで実際のプロジェクトにドメイン適応アルゴリズムを適用できるようにすることです。

使いやすさ

DALIB は、ドメイン適応損失関数を既存のドメイン適応トレーニング コードから分離し、ユーザーの利便性のために PyTorch クロスエントロピー損失関数の形式でカプセル化します。

ドメイン適応損失関数もモデル アーキテクチャから分離されており、特定の分類タスクに依存しないため、アルゴリズム ライブラリは画像分類以外の機械学習タスクに簡単に拡張できます。

以下に示すように、タスクに依存しないドメインの敵対的損失関数は、2 行のコードで定義できます。

さまざまなドメイン適応損失関数には、すべてのアルゴリズムで使用される分類モジュール、敵対的トレーニングで使用される勾配反転モジュールとドメイン識別モジュール、統計的距離で使用されるカーネル関数モジュールなど、いくつかの共通モジュールがあります。

これらの共通モジュールは、提供されているドメイン適応損失関数とは別です。したがって、 DALIB では、ユーザーはビルディング ブロックのように、必要なドメイン適応損失関数をカスタマイズできます。

たとえば、カーネル法では、ユーザーはガウスカーネル関数またはさまざまなパラメータを持つ他のカーネル関数をカスタマイズし、それをマルチカーネル最大平均差 (MK-MMD) の計算に渡すことができます。

現在、すべてのモジュールと損失関数の詳細な API ドキュメントが利用可能です: https://dalib.readthedocs.io/en/latest/。

安定性

ドメイン適応型アルゴリズムの研究では、手法の革新性や理論的価値に重点が置かれることが多く、エンジニアリング実装における安定性や再現性は無視されます。既存のアルゴリズムを再現する過程で、一部のアルゴリズムの精度が不安定になりました。 DALIB は数値計算の改善を通じてこれらの問題を解決します。 （具体的な実装についてはここでは説明しません。）

一般的なドメイン適応ベンチマークにおける DALIB のテスト精度は、元の論文で報告されたものよりも高く、一部のデータセットでは精度が 14% も高くなります。次の図は、Office-31 と VisDA-2017 の 3 つのベンチマーク セットでのテスト結果を示しています。

Office-31 におけるさまざまなアルゴリズムの精度。

VisDA-2017 におけるさまざまなアルゴリズムの精度。

DALIB アルゴリズム ライブラリは、Office-31、Office-Home、VisDA-2017 の 3 つのベンチマーク セットでサポートされているアルゴリズムのテスト結果と、完全なテスト スクリプトを提供します。清華大学の龍明生教授の研究チームは、このアルゴリズムライブラリをオープンソース化することで、転移学習の方向への将来の研究をさらに前進させることができると考えています。

今後の仕事

ドメイン適応アルゴリズム サブライブラリ DALIB の次期バージョンでは、部分ドメイン適応タスク (Partial Domain Adaptation)、オープンセット ドメイン適応タスク (Open-Set Domain Adaptation)、ユニバーサル ドメイン適応タスク (Universal Domain Adaptation) など、さまざまな複雑なドメイン適応アルゴリズムの設定がサポートされます。同時に、Versatile Domain Adaptation アルゴリズムもサポートします。

転移学習アルゴリズム ライブラリ Transfer-Learn はまだ開発の初期段階にあります。研究チームは、転移学習の継続的な発展に伴い、Transfer-Learnアルゴリズムライブラリは新しい研究でより優れたアルゴリズムを継続的に追跡し、継続的に拡張および最適化し、転移学習の安定した信頼性の高い評価ベンチマークを提供していくと述べました。

現在のバージョンは、Long Mingsheng 教授の研究グループの 2 人の学生、Jiang Junguang と Fu Bo によって管理されています。清華大学ソフトウェア学院と国立ビッグデータシステムソフトウェア工学研究所は、このアルゴリズム ライブラリの開発に強力なプラットフォーム サポートを提供しました。