機械学習研究動向の分析: TensorFlow が Caffe を上回り、最も一般的に使用される研究フレームワークに

冗談ですが、論文提出のトピックは、Adam で最適化された、完全な畳み込みエンコーダー/デコーダー BatchNorm ResNet GAN をスタイル転送に適用することについてになるでしょうか?

Google トレンドを使ったことがありますか? キーワードを入力すると、その用語の Google 検索が時間の経過とともにどのように変化するかを確認できる、とても便利な機能です。 arxiv-sanity データベースには過去 5 年間の機械学習論文がちょうど 28,303 件あるので、同様の作業を行って、機械学習研究が過去 5 年間でどのように進化してきたかを調べてみようと思いました。結果は非常に興味深いものだったので、ここに投稿しました。

arXiv シンギュラリティ

まず、arxiv-sanity カテゴリ (cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML) に投稿された論文の総数を見てみましょう。時間が経つにつれて、次のような結果が得られます。

はい、2017 年 3 月には、この分野で約 2,000 件の論文が提出されました。この急増は、会議の締め切り (NIPS/ICML など) が原因である可能性があります。ただし、これは分野自体の規模を直接示すものではないことに注意してください。すべての人が arXiv に論文を投稿するわけではなく、研究者が行う研究のカテゴリは時間の経過とともに変化する可能性があるためです。しかし、一つはっきりしているのは、人工知能の分野では膨大な数の論文が発見され、閲覧され、読まれているということです。

論文の総数を分母として、正確なキーワードを含む論文の割合を見てみましょう。

ディープラーニングフレームワーク

ウォーミングアップとして、まずはディープラーニングのフレームワークを見てみましょう。このキーワードを計算するために、本文全体のどこか（参考文献などを含むどこでも）でフレームワーク名に言及した論文とその割合を記録しました。 2017 年 3 月に提出された論文では、次のような結果が得られました。

つまり、2017 年 3 月に提出された論文の 10% で TensorFlow が言及されていました。もちろん、すべての論文でフレームワークの使用が発表されているわけではありませんが、フレームワークについて言及している人はそれを使用する可能性が高いと仮定すると、コミュニティの 40% が TensorFlow を使用しているように見えます (TF バックエンドを備えた Keras を含めるとさらに多くなります)。以下は、フレームワークの経時的な変化を示すグラフです。

Theano は長い間存在していますが、その成長は停滞していることがわかります。 Caffe は 2014 年に劇的な成長を遂げましたが、ここ数か月で TensorFlow に追い抜かれました。 Torch (および最近では PyTorch) も、ゆっくりではあるが着実に成長を続けています。今後数か月は注目に値します。私の推測では、Caffe/Theano は引き続きゆっくりと衰退し、TensorFlow は PyTorch の出現によりさらにゆっくりと成長していくでしょう。

ConvNet モデル

次に、一般的な ConvNet モデルを見てみましょう。下の図では、3 月にすべての論文の 9% が ResNet に言及するまで、ResNet の成長が明確にわかります。

また、InceptionNet 以前に「インセプション」について議論していたのは誰でしょうか? これについても興味があります。

最適化アルゴリズム

最適化アルゴリズムに関しては、Adam が人気を集めているようで、すべての論文の 23% が Adam に言及しています。実際の使用率を推定することは困難ですが、一部の論文では使用された最適化アルゴリズムが公開されておらず、また論文群ではニューラル ネットワークがまったく最適化されていない可能性があるため、23% よりも高い可能性があります。そうすると、5% 低くなる可能性があります。これは、Adam がバックグラウンドで「隠れている」ことを意味し、Adam 最適化アルゴリズムは 2014 年 12 月までリリースされていなかったため、作成者の名前と競合する可能性があります。

研究者

ディープラーニングにおける重要な数値の比率についても興味があったので、グラフを作成しました。これは引用数に多少似ていますが、論文の数が 0 または 1 の場合よりも堅牢であり、すべての論文にわたって正規化されます。

提出された論文の 35% に「bengio」という名前が挙げられていますが、研究者の中には Samy と Yoshua という 2 人の Bengio がおり、この図では 2 人が一緒になっていることに注意してください。言及する価値のある点の 1 つは、Geoff Hinton がすべての新しい論文の 30% 以上で言及されていることです。これはかなり多いように思えます。

ホットワードまたは非キーワード

最後に、手動で検索したキーワード カテゴリに加えて、ホットなキーワードとそうでないキーワードをいくつか見てみましょう。

注目ワード

これを定義する方法は多数ありますが、この実験では、論文内のすべてのモノグラフまたはバイグラムを調べ、昨年の最大使用量と比較した比率を記録しました。この基準を超える論文は、1 年前には可能性があったが、今年は関連性の頻度が非常に高い論文です。リストは次のとおりです。

たとえば、ResNet の比率は 8.17 です。なぜなら、1 年前 (2016 年 3 月) は、提出されたすべての論文の 1.044% にこの用語が含まれていましたが、今年 3 月には 8.53% に含まれていたため、8.53 を 1.044 で割ると、およそ 8.17 に等しくなります。結果として、過去 1 年間のコアイノベーション領域はすべて、1) ResNet、2) GAN、3) Adam、4) BatchNorm です。これらのモデルを研究でもっと頻繁に使用してください。研究の関心分野としては、1) スタイル転送、2)​​ 深層強化学習、3) ニューラル機械翻訳、4) 画像生成が挙げられます。アーキテクチャの面では、1) 完全畳み込みネットワーク (FCN)、2) LSTM/GRU、3) シャムネットワーク、4) エンコーダー/デコーダーネットワークが人気です。

トップは暑くない

反対にはどうでしょうか? 過去 1 年間で投稿数が減ったものの、歴史的には割合が高かった単語は何でしょうか? いくつか例を挙げます。

「フラクタル」が何を指しているのかはよく分かりませんが、もっと一般的には、攻撃されているのはおそらくベイジアン・ノンパラメトリックスでしょう。

結論は

現在提出されている論文のトピックは、Adam で最適化された Fully Convolutional Encoder Decoder BatchNorm ResNet GAN をスタイル転送に適用することを中心に展開されるはずです。それほど信頼できないようには思えません。