高密度の手動ラベルなしで下流の高密度予測タスクを実行するための自己教師学習法がリリースされました

[[399115]]

事前トレーニングにより、下流のタスクのパフォーマンスが大幅に向上することが示されています。従来の方法では、モデルの教師あり事前トレーニングに大規模な画像注釈付き分類データセット (ImageNet など) がよく使用されます。近年、自己教師あり学習法の出現により、事前トレーニングタスクで高価な手動ラベル付けが不要になりました。ただし、ほとんどの方法は画像分類用に設計され、最適化されています。ただし、画像レベルの予測と領域レベル/ピクセルレベルの予測には違いがあるため、下流の高密度予測タスクにおけるこれらの事前トレーニング済みモデルのパフォーマンスは最適ではない可能性があります。

これを基に、アデレード大学、同済大学、ByteDance の研究者らは、高価な手動の高密度ラベルを必要とせずに下流の高密度予測タスクで優れたパフォーマンスを達成できる、シンプルで効果的な高密度自己教師学習法を設計しました。この論文はCVPR 2021に採択されました。

論文の宛先:
出典：http://arxiv.org/pdf/2011.09157

コードアドレス:
https://github.com/WXinlong/DenseCL

方法

本研究で提案された新しい手法DenseCL（Dense Contrastive Learning）は、局所特徴間の対応を考慮し、入力画像の2つのビュー間のピクセル（または領域）特徴のペアワイズコントラスト（非類似度）損失を直接最適化することにより、高密度の自己教師あり学習を実現します。

表現学習のための 2 つの対照的な学習パラダイムの概念的描写。

既存の自己教師ありフレームワークでは、同じ画像の異なるデータ拡張を正のサンプルのペアとして使用し、残りの画像のデータ拡張を負のサンプルとして使用して、正のサンプルと負のサンプルのペアを構築し、グローバルな対照学習を実現しますが、多くの場合、ローカルな特徴の接続性と違いは無視されます。これを踏まえて、本研究で提案する方法では、同じ画像内の最も類似した 2 つのピクセル (領域) 特徴を正のサンプルのペアとして、残りのすべてのピクセル (領域) 特徴を負のサンプルとして、高密度コントラスト学習を実現します。

具体的には、この方法では、既存の自己教師学習フレームワークのグローバルプーリング層を削除し、そのグローバルマッピング層を高密度マッピング層の実装に置き換えます。マッチング戦略の選択に関しては、最大類似性マッチングとランダム類似性マッチングは最終的な精度にほとんど影響を与えないことを研究者らは発見しました。ベースライン手法MoCo-v2[1]と比較すると、DenseCLは計算オーバーヘッドがごくわずか（1%未満遅い）ですが、オブジェクト検出やセマンティックセグメンテーションなどの下流の密なタスクに移行するときに優れたパフォーマンスを示します。 DenseCL の全体的な損失関数は次のとおりです。