ICLR2021 対照学習 NLP 論文進捗レビュー

みなさんこんにちは。私はDiaobaiです。

今回は、ICLR2021のNLP分野の論文を6本選んで解釈し、テキスト生成、自然言語理解、事前学習済み言語モデルの学習とバイアス除去、さらにはテキストマッチングとテキスト検索も取り上げました。私たちはこれらの論文からいくつかのアイデアを借りて自社のビジネスに適用し、最終的に良い結果を達成しました。

タスク:エンドツーエンドのテキスト生成

この論文は、テキスト生成タスクにおける露出バイアス問題を解決することを目的としています。つまり、自己回帰テキスト生成の生成タスクでは、デコーダーの入力は常に真実のトークンであり、間違った生成結果が発生しないようにします。

この論文では、対照学習損失を導入してモデルが正のサンプルと負のサンプルを区別し、モデルをさまざまなノイズ条件にさらすことでこの問題を解決します。ただし、ノイズ サンプルを完全にランダムに生成すると、特に事前トレーニング済みのモデルの場合、非常に区別しやすいモデルが生成されます。したがって、本論文では、陽性サンプルの尤度が高くなり、陰性サンプルの尤度が低くなるように摂動を加える敵対的摂動法を提案する。

タスク:自然言語理解、微調整段階でのテキスト表現の強化

この論文では、主にテキスト分野のデータ拡張手法を研究し、以下の問題を研究します。

1. テキストにはどのような拡張方法を適用できますか?

2. これらの拡張スタイルは補完的でしょうか、また、それらを統合してより多様な拡張例を生み出すための戦略を見つけることはできるでしょうか?

3. 取得した拡張サンプルをトレーニング プロセスに効果的に組み込むにはどうすればよいでしょうか?

著者らは、テキストのデータ拡張方法として次の 5 つを検討しました。

1. 逆翻訳

2. c-BERT 単語置換

3. ミックスアップ

4. 切り落とす

5. 敵対的トレーニング

さらに、著者は、上の図に示すように、質問 1 と 2 を検討するために 3 つの異なるデータ拡張戦略を検討しました。

ランダム選択: ミニバッチ内の各サンプルに対してデータ強化方法をランダムに選択します。

ミックスアップ: ミックスアップ戦略を使用して、ミニバッチで2つのサンプルをランダムに組み合わせます。

さまざまな強化方法の積み重ね:

3 番目の質問、つまり、それを微調整タスクにどのようにうまく統合するかについては、コントラスト損失が提案されています。

実験により、2 つの強化方法を組み合わせることでパフォーマンスがさらに向上することが示されました。 GLUE で実験を実施したところ、ベースラインと比較して平均スコアが 2 ポイント向上しました。

タスク:事前学習済み言語モデルのバイアス除去

この論文では、対照学習を使用して、事前トレーニング済みの言語モデルによって生成されたテキスト表現内のバイアス要因（性別バイアス、人種バイアスなど）を排除します。これを実現するために、言語モデルによって生成されたテキスト表現を別の表現に変換する追加のマッピング ネットワークをトレーニングし、新しく生成された表現のバイアスを排除します。この論文の革新性は次の点にあります。

1. 元のテキスト内の偏った単語をその反意語 (man<->woman、her<->his、she<->he など) に置き換えることで、強化されたテキストを作成できます。対照的損失により、変換された表現において 2 つの間の相互情報量が最大化されます。

2. テキスト内の暗黙のバイアスをさらに排除するために、生成された文の表現とバイアスのかかった単語の表現間の相互情報量を最小化する追加の損失が提案されています。

タスク:言語モデルの事前トレーニング

この論文では、テキスト表現学習に対照学習を使用する際の現在の問題を分析します（セクション2.2）。

• 対照学習では、KL ダイバージェンスをトレーニング ターゲットとして使用すると、トレーニング プロセスが不安定になります。

• 対照学習には大量の負のサンプルが必要となり、非効率的です。

最初の問題に対して、著者はトレーニング中の安定性を高めるためにワッサーシュタイン制約を追加しました。2 番目の問題に対して、著者は最新の K 個のネガティブ サンプルのみをサンプリングすることを提案しました。これはアクティブ ネガティブ サンプル選択と呼ばれます (NIPS 論文「ハード ネガティブ ミキシング」と同様)。

タスク:テキストマッチング、マルチラベルテキスト分類

この論文では、主にマルチラベルテキスト分類の問題、特にロングテールラベルの問題（つまり、データが少ない場合、カテゴリの分布が不均一になることが多く、1回または2回しか表示されないラベルが多数存在し、頻繁に表示されるカテゴリが少数存在する）の解決を試みています。

この論文では、主にマルチラベル分類タスクをテキストマッチングに似た形式にモデル化します。さまざまな肯定的ラベルと否定的ラベルがサンプリングされ、文章からテキストの断片もサンプリングされて疑似ラベルが形成されます。エンコード後、これら 4 つの形式のラベル (正ラベル、負ラベル、正疑似ラベル、負疑似ラベル) は文エンコードと連結され、マッチング レイヤーに渡されます。マッチング モデルは、バイナリ クロス エントロピー損失 (BCE) または NCE 損失 (正の例と負の例を区別するため) を使用してトレーニングされます。

タスク:高密度テキスト検索

この論文では、テキスト検索の分野について研究しています。従来の単語レベルの検索 (スパース検索) とは異なり、この論文では、テキスト表現をトレーニングすることによってテキスト検索を実行します (Dence Retrieval、DR と呼ばれます)。 DR は次の 2 つのフェーズで構成されます。

1. テキストをベクトルにエンコードするモデルを事前トレーニングします。トレーニングの目標は、類似ペアの類似度スコアを最大にすることです。

2. トレーニングされたエンコーディング モデルを通じて、テキストがエンコードされ、インデックスが作成され、クエリの類似性に基づいて検索が実行されます。

この論文では主に最初の段階、つまり適切な表現をトレーニングする方法に焦点を当てています。この論文は、ネガティブ サンプル サンプリング方法が DR パフォーマンスを制限するボトルネックであるという仮説から始まります。この論文の貢献:

1. 高品質の非類似ペアをサンプリングするための、より優れたネガティブサンプリング法が提案されています。

2. この論文で提案された効果により、トレーニングの収束が速くなります。

3. この論文で提案された方法は、BERT ベースの方法と比較して、同様の精度を達成しながら効率を 100 倍向上させます。