2022年、PyTorchはトップAIカンファレンスの80%を占める

2012 年にディープラーニングが再び注目されて以来、初期の学術フレームワークである Caffe や Theano から、後の PyTorch や TensorFlow まで、多くの機械学習フレームワークが研究者や業界従事者の新たなお気に入りとなっています。

2018年末、Googleは新しいJAXフレームワークをリリースし、その人気は着実に高まっています。多くの研究者は、TensorFlow などの多くのディープラーニング フレームワークに取って代わることができると期待し、大きな期待を寄せています。

しかし、PyTorch と TensorFlow は依然として ML フレームワークの分野で強力な 2 つの存在であり、他の新興フレームワークの力は当面これらに匹敵することはできません。 PyTorch と TensorFlow の関係は、一方が利益を得て、他方が損失を被るという関係であり、その力関係も静かに変化しています。

2019 年 10 月、コーネル大学の学部生であり、かつて PyTorch チームのインターンを務めていた Horace He 氏が、学術界における PyTorch と TensorFlow の使用に関するデータをまとめました。結果から、研究者が大勢 PyTorch に集まっていたことが分かりましたが、当時は TensorFlow が依然として業界の第一の選択肢であったようです。

下の図に示すように、2019 年半ば以降、カウントされたすべてのトップカンファレンスで、PyTorch の使用率が TensorFlow を上回っています。

データ収集時期: 2019年10月。

当時、開発者コミュニティでは、今後の ML フレームワークの競争で「ハイライト」となるのは誰か、という議論が白熱していました。2 年後、Horace He 氏は再び最新の統計結果を発表しました。

これまでのところ、PyTorch は EMNLP、ACL、ICLR の 3 つのトップ カンファレンスの 80% 以上を占めており、このシェアは他のカンファレンスでも 70% を超えています。わずか 2 年で、TensorFlow の生存空間は大幅に縮小されました。

学術界における PyTorch の「追い越し」

各トップカンファレンスについて、著者はグラフで詳細なデータも示しています。

CVPRを例に挙げてみましょう。CVPR 2018以前は、TensorFlowの使用率はPyTorchよりも高かったのですが、翌年には状況が一気に逆転しました。

CVPR 2019では、PyTorchの使用率は22.72%（論文数294件）、TensorFlowの使用率は11.44%（論文数148件）でしたが、CVPR 2020では、これら2つの数字はそれぞれ28.49%（論文数418件）、7.7%（論文数113件）となりました。

ICML、ICLR、NeurIPS などの会議でも、競争は依然として同じです。

PyTorch は大きくリードしていますが、TensorFlow は衰退し続けています。 ICLR 2022では、PyTorchの使用率は32.20%（1,091件）で、TensorFlowは6.14%（208件）と5倍の差が開きました。

TensorFlow は学術界でまだ将来性があるのでしょうか?

では、片隅に退いた TensorFlow は、なぜ今日このような状況に陥ったのでしょうか。

Hackrnews コミュニティでは、このトピックが開発者の間で白熱した議論を巻き起こしました。

「学術出版では、自分の研究を SOTA と比較できることが非常に重要です。自分の分野の他の全員が特定のフレームワークを使用している場合は、自分も同じことをすべきです。Pytorch は、私がここ数年間最も注目してきたフレームワークです。」

「しかし、Tensorflow が優れているのは静的グラフの領域です。モデルの密度が高まり、さまざまな部分を並列実行する必要が生じるようになると、PyTorch でモデルを実行する際にいくつかの課題が見られるようになりました。」

開発者の意見では、多くのことを並行して実行したい場合、Tensorflow には他の製品にはない機能がいくつかあります。それはあなたが何をしているかによって決まります。

Tensorflow の衰退は戦略的なミスによるものだと言う人もいます。

「Tensorflow は、初期のバージョンでは使いにくかったため、学術界では間違った選択をしたと思います。もちろん、そのパフォーマンスは常に PyTorch より優れていましたが、負荷の高い博士課程の学生の場合、コードが効率的かどうかよりも、コードが機能するかどうかの方が重要です。PyTorch は比較的デバッグしやすいと言う人もいたので、初期のモデルは PyTorch で公開され、その後多くの人が PyTorch に移行しました。」

どう思いますか？