2021年のMLとNLPの学術統計：Googleが1位、強化学習の専門家Sergey Levineが1位に

2021 年は自然言語処理 (NLP) と機械学習 (ML) にとって非常に生産的な年でした。さて、昨年 NLP と ML の分野で発表された論文を数えてみましょう。

ケンブリッジ大学の機械学習と自然言語処理の研究者であるMAREK REI氏は、2021年の古典的な論文を要約して分析し、2021年のMLとNLPの出版物の統計をまとめました。彼は、ACL、EMNLP、NAACL、EACL、CoNLL、TACL、CL、NeurIPS、AAAI、ICLR、ICMLなど、人工知能業界の主要な会議とジャーナルを分析しました。

この論文の分析は一連の自動化ツールを使って行われたため、完璧ではない可能性があり、一部に欠落や誤りが含まれている可能性があります。何らかの理由で、一部の著者は、コンテンツの重複やコンテンツの自動抽出を防ぐために、論文を難読化した形式で公開し始め、分析プロセスではこれらの論文が除外されました。

それでは、MAREK REI の統計を見てみましょう。

学術会議に基づく統計

ほとんどのカンファレンスへの投稿数は増加し続けており、記録を更新しています。 ACL は例外のようで、AAAI はほぼ横ばい状態ですが、NeurIPS は依然として着実に成長しています。

機関別統計

2021年に発表された論文数では、Googleがトップの研究機関であり、Microsoftが2位、CMU、スタンフォード大学、Meta、MITがそれに続き、清華大学が7位となっている。 Microsoft、CAS、Amazon、Tencent、Cambridge、Washington、Alibaba は NLP カンファレンスでかなりの数の論文を発表しており、目立っていますが、その他のトップ組織は主に ML 分野に重点を置いているようです。

2012年から2021年までのデータによると、Googleは2,170件の論文を発表して1位となり、Microsoftの2013年の論文を上回った。 CMU は 1,881 件の論文を発表し、第 3 位にランクされました。

ほとんどの機関では、年間の出版物数も増加し続けています。 Google の発表論文数は以前は直線的に増加していましたが、その傾向はやや鈍化しています。ただし、以前よりは多くの論文を発表しています。CMU は昨年は停滞していましたが、今年はそれを補っています。IBM は、発表論文数がわずかに減少した唯一の機関のようです。

著者別統計

次に、2021年に最も多くの論文を発表した研究者を見てみましょう。 Sergey Levine 氏 (カリフォルニア大学バークレー校電気工学およびコンピュータサイエンス助教授) は 42 本の論文を発表し、1 位にランクされました。Liu Tieyan 氏 (Microsoft)、Zhou Jie 氏 (清華大学)、Mohit Bansal 氏 (ノースカロライナ大学チャペルヒル校)、Graham Neubig 氏 (CMU) も、発表論文数で比較的高いランクにランクされました。

2012年から2021年までをみると、論文発表数ではセルゲイ・レヴィン氏がトップに立った。昨年は6位だったが、今年は1位に躍り出た。また、ヨシュア・ベンジオ氏（モントリオール）、グラハム・ニュービッヒ氏（CMU）、チャン・ユエ氏（ウェストレイク大学）、周明氏（シノベーション・ベンチャーズ主席科学者）、ティン・リウ氏（ハルビン工科大学）らも論文発表数で比較的上位にランクインした。

セルゲイ・レヴィン氏はかなりの差をつけて新記録を樹立しました。モヒット・バンサル氏も論文数が大幅に増加し、2021年にはグラハム・ノイビッヒ氏と並んで31本の論文を発表しました。ヨシュア・ベンジオ氏の論文数は2020年に減少しましたが、現在は再び増加しています。

第一著者として発表された論文の統計

最も多くの論文を発表する研究者は、通常、ポスドクと指導者です。対照的に、第一著者としてより多くの論文を発表する人は、通常、実際の研究を行う人です。

ラミット・ソーニー（タワーリサーチキャピタルのテクニカルディレクター）は2021年に9本の影響力のある論文を発表し、ジェイソン・ウェイ（Google）とティアゴ・ピメンテル（ケンブリッジ大学の博士課程の学生）はそれぞれ6本の比較的影響力のある論文を発表しました。

2012年から2021年の分布では、Ivan Vulić氏（ケンブリッジ大学）とZeyuan Allen-Zhu氏（マイクロソフト）がともに第一著者として比較的影響力のある論文を24本発表し、1位にランクされました。Yi Tay氏（Google）とLi Jiwei氏（シャノンテクノロジー）は、それぞれ第一著者として比較的影響力のある論文を23本と22本発表し、2位にランクされました。Ilias Diakonikolas氏（ウィスコンシン大学マディソン校）は、第一著者としてNeurIPS論文を15本発表しました。

国別統計

2021年の国別出版物数では、米国が最も多く、次いで中国と英国がそれぞれ2位と3位となっています。米国と英国ではNeurIPSが最大の割合を占め、中国ではAAAIが最大の割合を占めています。

上から下の垂直座標は 500、1000、1500、2000、2500 などです。

上位にランクされたほぼすべての国が、2021年も出版物の数を増やし続け、新記録を樹立しました。この増加は米国にとって最大であり、そのリードはさらに広がった。

米国では、Google、Microsoft、CMU が再び出版物の量でトップになりました。

中国では、清華大学、中国科学院、北京大学が2021年に最も多くの論文を発表した。

トピックの関連性に基づく統計

この視覚化により、組織は主に地理的な近さに基づいてクラスター化されており、その中央に企業が位置していることがわかります。

著者を視覚化することもできますが、この視覚化は少し理解しにくいです。

キーワード別の統計

特定のキーワードを含む論文の割合をプロットし、この割合が時間の経過とともにどのように変化するかを追跡することもできます。

「ニューラル」という言葉は、論文の 80% でまだ見かけますが、やや減少傾向にあるようです。同時に、「回帰」と「畳み込み」の割合も減少している一方で、「トランスフォーマー」という単語は論文の 30% 以上で登場しています。

「敵対的」という言葉だけを見ると、ICLR では非常に一般的であり、論文のほぼ半数で言及されていることがわかります。 ICML と NeurIPS における「敵対的」の割合は以前にピークに達したようですが、AAAI ではまだピークに達していません。

「トランスフォーマー」という用語は、ここ数年で非常に人気が高まっています。これは NLP 論文で特に人気があり、公開されている論文の 50% 以上で取り上げられており、すべての ML カンファレンスでその人気は着実に高まっています。