中国の博士が127ページの論文「自然言語処理におけるグラフニューラルネットワークの初心者からマスターまで」を発表

グラフは、複雑なシステムを記述およびモデル化するために使用できる一般的な言語です。

グラフは、構文情報を記述するために使用される依存ツリーや構成ツリー、意味情報を記述するために使用される AMR グラフなど、NLP の世界ではいたるところに存在します。

自然言語を単語やシーケンスの集まりに単純にモデル化する場合と比較して、グラフは自然言語のより豊富で詳細な情報を取り込むことができます。

したがって、グラフは多くの NLP タスクにとって非常に合理的な表現です。

たとえば、クロステキスト読解タスクの場合、テキストからエンティティ情報を抽出し、それらの間のさまざまな接続をグラフの形式で確立できれば、テキストの理解に効果的に役立ちます。

グラフ ニューラル ネットワーク (GNN) は、グラフ構造化データの処理とモデリングに最適です。

GNNの原理

GNN の動作原理は、ノードの隣接ノード/エッジの情報を集約して、ノードのベクトル表現を更新することです。

近年、ディープラーニングはNLP分野における主要な技術手段となっています。

GNN が導入され広く使用されるようになる前は、グリッド データの処理に適した CNN のように、任意のグラフ構造データを処理できるニューラル ネットワーク アーキテクチャがディープラーニングの分野にありませんでした。

GNN 研究の人気が高まるにつれ、ますます多くの研究者が GNN を使用してさまざまな NLP 問題を解決しようとし始めています。

最近、JD シリコンバレー R&D センターの主任科学者である Lingfei Wu 博士と彼のチームは、NLP 向け GNN の初めての詳細なレビューを発表しました。

紙：
出典：http://arxiv.org/pdf/2106.06090.pdf

GitHub: https://github.com/graph4ai/graph4nlp/

この記事では、「NLP グラフ構築」、「NLP グラフ表現学習」、「GNN ベースのエンコーダー/デコーダー モデル」、「NLP タスクにおける GNN の応用」という 4 つの側面から、既存の研究の進捗状況を詳細にレビューし、解釈します。

レビュー全体は合計 127 ページで、87 ページのテキスト、12 のグラフ構築方法、および NLP のあらゆる側面を網羅した 12 のアプリケーション シナリオが含まれています。

さらに、トップ 500 の AI/ML/NLP 記事を取り上げ、最後に現在の課題と将来の研究の方向性を独自にまとめています。

NLP グラフ構築、NLP グラフ表現学習、GNN ベースのエンコーダー デコーダー モデル、NLP タスクにおける GNN の応用

この方向における最新の研究の進捗状況を知りたい場合、NLP アプリケーション パイプラインの GNN の概要を知りたい場合、またはそのサブモジュールの 1 つに興味がある場合、この記事を読めば何か学べるでしょう。

著者チームは、github でリリースされている graph4nlp ライブラリもこの記事に搭載しており、実践的な経験を積みたい研究者にとって非常に良い機会を提供しています。

GNN4NLP研究における課題

GNN はさまざまな NLP タスクで非常に成功していますが、GNN4NLP はまだ比較的新しい、急速に発展している研究分野であり、多くの課題に直面しています。

1. 下流のタスクに役立つ重要な情報を保持しながら、テキスト データを効果的なグラフ構造データに自動的に変換する方法。
2. さまざまな種類のグラフ構造データに対して効果的な GNN モデルを開発する方法。
3. 複雑なタイプのデータ間のマッピング関係をエンドツーエンドで学習する方法 (Graph2Seq、Graph2Tree、Graph2Graph など)。

自動グラフ構築

異なるタイプの NLP タスクでは、多くの場合、異なるレベルのテキスト情報が必要になります。たとえば、品詞や構文などの情報は、名前付きエンティティの認識タスクに役立ちますが、読解タスクでは、エンティティの関係などの意味情報が非常に役立ちます。

一方、異なるタイプのグラフには通常、異なるタイプの情報が含まれます。したがって、適切なグラフ構築方法を選択する方法は、下流のタスクにおける GNN のパフォーマンスにとって非常に重要です。

この記事では、現在知られているすべてのグラフ構築方法を、静的構成方法と動的構成方法の 2 つのカテゴリに分類します。

静的グラフ構築

静的グラフ構築には、2 つの大きな特徴があります。

1. テキスト情報を拡張するために事前のドメイン知識を導入します。
2. これは前処理フェーズ中に行われます。

依存グラフと構成グラフは2つの静的グラフ構築方法である。

この論文では、これまでに発表された文献から 10 を超える代表的な静的グラフ構築手法を要約し、それらを統語情報、意味情報、テーマ情報などの複数の次元に分類します。

動的グラフ構築

ダイナミック イメージ構築は、過去 2 年間に登場した新しい自動構成方法です。その最大の特徴は次のとおりです。

1. 下流の NLP タスクでは、グラフ構造とグラフ表現のエンドツーエンドの共同学習が実行されます。
2. 動的に実行できます。

動的グラフ構築の一般的なプロセス:

1. グラフ類似度メトリック学習モジュールは、ノード間の類似度関係を計算し、完全に接続された重み付きグラフを返します。
2. グラフスパース化モジュールは、完全接続グラフに対してスパース化処理を実行してスパースグラフを取得します。
3. 初期グラフ構造情報がわかっている場合は、初期グラフ構造と学習された潜在グラフ構造を組み合わせて、より効果的なグラフ構造情報を取得できます。

同時に、この記事では、現在知られているさまざまな動的グラフ構築の効果的な方法をまとめ、次の 4 つの技術的側面と対応する代表的なテクノロジをまとめます。

グラフ表現学習

構造化されていないテキストから目的のグラフを取得したら、そのグラフ表現をどのように学習するのでしょうか?

慌てないでください。この記事では、数百の文書から実際の研究で遭遇するグラフの種類と、それらの変換方法、そして最後にエンコーディング学習に使用する GNN の使用方法と使用方法を体系的にまとめています。

まず、グラフのノードとエッジのプロパティが一意であるかどうかに基づいて、グラフは次のカテゴリに分類されます。

1. 単一のノードとエッジ属性を持つ同次グラフ。
2. 単一のノード属性を持ち、エッジ属性が一意ではないマルチリレーショナル グラフ。
3. ノード属性が一意ではない異種グラフ。

第二に、これらのグラフは相互に変換可能です。そこで、この記事では、異種グラフからマルチリレーションシップグラフに変換する方法など、これらの異なるグラフの可能な変換モードをまとめます。

グラフ ニューラル ネットワークに変換されたこれらのアプリケーションは、より多くの可能性とオプションを提供します。

最後に、グラフの構造と変換を理解した後、学習に適したグラフニューラルネットワークをどのように選択すればよいでしょうか。

この記事では、グラフの種類ごとに既存の古典的なグラフ ニューラル ネットワークをまとめているので、使用時に圧倒されることがありません。

1. 同次グラフについては、同次 GNN と呼ばれるグラフ ニューラル ネットワークの一種をまとめます。最も一般的なものは、GCN、GAT などです。特に、GCN などの多くの GNN は無向グラフ用であるのに対し、実際には多くの同型グラフは有向であることに気づいたため、有向グラフと無向グラフについて詳細な議論を行いました。
2. マルチリレーショナル グラフの場合、エッジの属性がどのように適用されるかに基づいて、さまざまなマルチリレーショナル GNN が要約されます。最も一般的なものは、R-GCN、R-GGNN などです。人気の高い Transformer が、研究者によってマルチリレーショナル グラフの学習にも使用されていることがわかったことは注目に値します。これを特殊な多重関係グラフとみなし、体系的な分析を行います。
3. 異種グラフの場合、グラフのノードとエッジの属性は制限されないため、この作業領域には高い自由度があり、これを総称して異種グラフと呼びます。一般的なものには、メタパス ベース、リレーショナル ニューラル ネットワーク ベース (R-GNN ベース) などがあります。

フローチャート

エンコーダー-デコーダーモデル

エンコーダー-デコーダーアーキテクチャは、近年 NLP の分野で最も広く使用されているフレームワークの 1 つと言えます。

ただし、さまざまなタスク シナリオでは、ローカル条件に応じてエンコーダとデコーダをどのように設計するかも非常に重要な問題です。

GNN のグラフ構造データに対する強力なモデリング機能と組み合わせて、多くの研究者がエンコーダー/デコーダー アーキテクチャで GNN を有効活用する方法に注目し始めています。

本論文では、この方向の研究の進捗状況を体系的に整理してレビューし、関連する文献を次の 3 つのカテゴリに分類します。

• Graph2Seq (グラフからシーケンスへ)
• Graph2Tree (グラフからツリーへ)
• Graph2Graph (グラフからグラフへ)

Graph2Seq と Graph2Tree ダイアグラム

この記事では、これら 3 つの観点から、グラフベースのエンコーダー/デコーダー モデルの開発コンテキストについて詳しく紹介します。

これには、GNN の使用だけでなく、関連するさまざまなデコード技術も含まれます。

同時に、この記事では、最近人気のグラフトランスフォーマーベースの生成モデルを分析および比較し、現在直面しているいくつかの重要な課題をまとめています。

NLPアプリケーションタスク

では、グラフ ニューラル ネットワークは具体的にどこで使用されるのでしょうか?

この記事では、12 の異なる方向と 26 のタスクからの 100 件を超える論文を要約し、実用的なアプリケーションの最も詳細な解釈を提供します。

• 自然言語生成 (NLG): 1. ニューラル機械翻訳、2. 要約、3. 構造データからテキスト、4. ニューラル質問生成
• 機械読解と質問応答 (MRC と QA): 1. 機械読解、2. 知識ベース質問応答、3. オープンドメイン質問応答、4. コミュニティ質問応答
• 対話システム: 1. 対話状態の追跡、2. 対話応答の生成、3. 次の発話の選択
• テキスト分類: 1. テキスト分類

• テキストマッチング: 1. テキストマッチング

• トピックモデリング: 1. トピックモデリング

• 感情分類: 1. 感情分類

• ナレッジグラフ: 1. ナレッジグラフの完成、2. ナレッジグラフのアラインメント

• 情報抽出: 1. 固有表現認識、2. 関係抽出、3. 共同学習モデル

• 構文解析と意味解析（解析）: 1. 構文解析 2. 意味解析

• 推論: 1. 数学の文章題の解決、2. 自然言語推論、3. 常識的な推論

• 意味的役割のラベル付け: 1. 意味的役割のラベル付け

各タスクについて、次の 3 つの点に従って分析します。

1. このタスクの研究背景とグラフニューラルネットワークを使用する動機。
2. グラフニューラルネットワークを使用する方法論。
3. このタスクの既存のデータセット (ベンチマーク) と評価メトリック (評価)。

最も懸念される方法の部分に関して、この記事では以下のようにまとめています。

1. 作曲技法;
2. グラフ表現学習法;
3. いくつかの特殊なメソッド レベルについて詳しく説明します。

要約する

チームについて

この記事の著者は以下のとおりです。

研究者には、JD.COM シリコンバレー研究センターの主任科学者である Lingfei Wu 博士、サイモンフレーザー大学の Jian Pei 教授、JD Retail Group の検索および推奨プラットフォーム部門の副社長である Bo Long 博士などが含まれます。

Graph4NLP 関連のパッケージ、レビュー、講演、論文:

調査: http://arxiv.org/abs/2106.06090

ライブラリ: https://github.com/graph4ai/graph4nlp

デモ: https://github.com/graph4ai/graph4nlp_demo

チュートリアル: Graph4NLP-NAACL'21(スライド: google drive、baidu netdisk(drs1))

文献レビュー: https://github.com/graph4ai/graph4nlp_literature

論文の宛先:

出典：http://arxiv.org/pdf/2106.06090.pdf