WeChat AIがGoogleを超え、NLP分野で新たな世界初を獲得

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

WeChat AIは、今度は機械読解において、NLPの分野でもう一つの世界初を達成しました。

コンピューターの数学的推論能力をテストするために特別に設計された DROP データセットでは、WeChat AI の最新ソリューションが Google Research を上回り、1 位となり、SOTA になりました。

今年3月、第7回対話システム技術チャレンジ（DSTC7）で、初出場となったWeChat Zhiyanチームがあらゆる障害を乗り越えて優勝した。

しかし今回、WeChat AIチームは、これは機械読解における進歩であるだけでなく、数学的推論における最初の取り組みでもあると述べた。

このソリューションは、業界で現在主流となっている BERT に基づくものではなく、デジタル対応グラフ ニューラル ネットワーク (NumGNN) ソリューションに基づいています。

WeChat AIチームは、NumGNNdをコアとして、NAQANetの基本モジュールと改良された前処理方法を組み合わせることで、BERTやRoBERTaなどの事前トレーニング済みモデルを使用せずに最大67.97%のF1値を得ることができると紹介しました。

実際にリストに提出された NumNet+ では、RoBERTa の機能をさらに統合し、マルチスパンの問題のサポートを追加し、単一モデルの F1 値が 82.99% まで達するようになりました。

したがって、彼らは次のような結論に達しました。

BERT などの事前トレーニング済みモデルを使用しなくても、モデルのパフォーマンスはすでに BERT よりも優れています。

WeChat AIチームは、このソリューションは人工知能の読解力と論理的推論能力の向上に役立ち、将来的にはテンセント・シャオウェイのインテリジェント会話アシスタントにこの技術が適用される予定であると述べた。

しかし、GoogleやBaiduなどのスマート音声アシスタントのToC製品形式とは異なり、Tencent Xiaoweiのスマート対話アシスタントは現在、主にクラウドサービスの形で輸出されています。

WeChatスコアは何を意味しますか? AI数学テスト

まずは DROP データセットから始めましょう。

AI2 (アレン人工知能研究所) 研究所が提案した DROP データセットは、主に数学計算に類似した操作を実行するモデルの能力を調べます。

（偶然にも、WeChatの創設者である張小龍もアレンという名前ですが、ドメイン名allen.aiはAI2に属しています）

「アンディ・ラウの妻は誰ですか？」のような質問が主に含まれる SQuAD データセットとは異なり、ここでの質問には数学的な演算が含まれます。

例えば、5人でそれぞれエッグタルトを2個ずつ買う場合、合計で何個買えばいいでしょうか？

この問題は人間にとっては簡単ですが、機械にとっては難しいです。

WeChat AIチームはその理由を次のように説明した。機械は数字の相対的な大きさを比較できるだけでなく、どの数字と比較するかを認識して推論を行う必要があり、そのためには数字の相対的な大きさなどの知識をモデルに注入する必要がある。

しかし、これまでの機械読解モデルの多くでは、数字と非数字単語は基本的に同等に扱われており、数字の大小関係を理解することはできず、数え上げ、足し算、引き算などの数学演算も実行できませんでした。

このため、WeChat AI チームは数値認識グラフ ニューラル ネットワーク (NumGNN) を提案し、それに基づいて NumNet を提案しました。

一方では、グラフの位相構造を利用して、数字の大小関係をエンコードします。記事や質問内の数字をグラフのノードとして使い、数字間に「>」と「<=」の関係で有向エッジを確立することで、数字の大小関係を事前知識としてモデルに注入します。

具体的には、質問とテキストが与えられたら、まず質問内の数字とテキスト内の数字を抽出します。

各数字はグラフ上のノードです。同時に、任意の 2 つの数字、つまり数字 A と数字 B について、A が B より大きい場合、A と B の間に有向エッジが追加され、数字 A と B の関係は A が B より大きいことが示されます。

A が B 以下の場合、2 つを接続する別の有向エッジが追加されます。この操作により、グラフのトポロジ構造を使用して、数値の相対的なサイズに関する知識がモデルに注入されます。

一方、テキスト情報を組み合わせて、より複雑な数学的推論を行うことです。具体的な実装方法は、グラフ畳み込みニューラルネットワークを使用して、前述のグラフ構造上で推論を行うことで、より複雑な数学的推論機能をサポートします。

Googleのソリューションを上回り世界一を獲得

DROP データセットのリーダーボードでは、WeChat AI チームのソリューションは NumNet+ です。

WeChat AIチームは、このソリューションの基礎はNumNet、つまりNumGNNと同じであると述べました。

新しいソリューションでは、NumNet の事前トレーニングされていない Transformer がエンコーダーとして事前トレーニング済みのモデルに置き換えられ、RoBERTa の機能とマルチスパンの問題のサポートがさらに組み込まれています。

これにより、単一モデルの F1 値が 82.99% に達し、Google Research の BERT-Calculator Ensemble ソリューションを上回り、リストの 1 位になりました。

得られた結果は良好ですが、WeChat AI チームは、まだ多くの欠陥があると考えています。

たとえば、サポートできる数式の種類には、依然として一定の制限があります。特に、DROP データセットの制限により、より高いレベルのテキスト理解が必要になりますが、必要な数学的推論は数学の文章問題を解くよりも比較的簡単です。

WeChat AIチームは、この2つをうまく組み合わせてモデル全体の機能をさらに強化することが次の検討課題であると述べた。

さらに、数値推論の問題を解決するためにGNNを使用することに焦点を当てるのではなく、後で他の方法を検討することに重点を置くとも述べました。

具体的には、算数文章題（AWP）関連作業における複雑な数式処理に関する手法を吸収・統合し、モデルの推論能力をさらに強化することが可能です。

詳細については、DROP データセットのリーダーボードをご覧ください。

https://leaderboard.allenai.org/drop/submissions/public

WeChat AIの研究成果がEMNLP2019に収録され、論文が公開されました。

NumNet: 数値推論による機械読解

https://arxiv.org/abs/1910.06701

プロジェクトアドレス:

https://github.com/llamazing/numnet_plus