OpenAI は PyTorch、TensorFlow を全面的に採用していますが、なぜそれほど優れていないのでしょうか?

TensorFlow と PyTorch フレームワーク間の戦いは長い間続いています。最近のニュースでは、PyTorch 陣営に新たな将軍が加わったと報じられています。 OpenAIは、PyTorchに完全に切り替え、すべてのモデルのフレームワーク標準を統一したと述べた。

[[313755]]

ディープラーニングフレームワークの使用に関しては、人工知能コミュニティ全体は、TensorFlow と PyTorch の 2 つの陣営に大まかに分けられます。 PyTorch は研究分野に適していると考える人もいますが、実際の産業用アプリケーションでは TensorFlow が適しているかもしれません。 PyTorch はユーザーフレンドリーな API と Python エコシステムに対する優れたサポートを備えているため、学術分野に適しています。 TensorFlow は、ユーザーの慣性と産業生産環境のサポートにより、業界に適しています。

最近のニュース報道は確かにこの声明を裏付けています。 Dota2をプレイするAIを研究し、NLP事前トレーニングモデルGPT-2を発表し、ロボットが片手でルービックキューブを復元できるようにした人工知能研究機関OpenAIは、PyTorchに完全移行すると発表した。

TensorFlow が絶対的な優位性を持っていた 2017 年から、2 つの主要フレームワークが相対的に均衡している現在に至るまで、双方の開発チームは、PyTorch がコミュニティでこれほど人気が出るとは予想していなかったかもしれません。

PyTorch によるプロジェクト標準の統一

OpenAI は短いブログ投稿で、統合ディープラーニングフレームワークとして PyTorch を使用する予定であると述べました。これまでは、フレームワーク自体の機能と利点に基づいて、プロジェクトごとに異なるフレームワークを使用していました。

OpenAI は、チームがモデルとそのアプリケーションを簡単に作成、共有できるようにするには、PyTorch を使用するのがより良い選択であると考えています。 OpenAI は標準化された PyTorch フレームワークを通じて、それに基づいたプラットフォームを構築し、さまざまなモデルやアプリケーションでフレームワークやツールを再利用できます。

PyTorch を選択するもう 1 つの重要な理由は、特に GPU クラスター上でさまざまな新しいアイデアを実装するのに PyTorch を使用するのが特に簡単であることです。 OpenAIはブログ投稿で、PyTorchを選択して以来、研究アイデアから生成モデルまでの反復的な開発時間を数週間から数日に短縮できるようになったと述べた。これにより、多くの時間を節約できます。さらに、PyTorch には活発な開発コミュニティがあり、FaceBook などの大規模な研究機関で使用されています。

OpenAIは記事の中で、チームの大半が移行作業を完了したとも述べています。特別な技術的な理由がない限り、PyTorch は基本的に主要なディープラーニングフレームワークです。たとえば、OpenAI は最近、深層強化学習ライブラリ「Spinning Up」の PyTorch バージョンをリリースしました。

[[313756]]

さらに、OpenAI は、今後のオープンソース計画で、「Block-Sparse GPU Kernels」などの PyTorch ベースのプロジェクトをさらにリリースする予定です。これは、cuBLAS や cuSPARSE よりも高速な新しいアーキテクチャカーネルです。

TFには多くの問題があり、ユーザーはPyTorchに頼る

確かに、TensorFlow と比較すると、PyTorch にはパフォーマンス、産業エコシステムのサポートなどの点でまだ欠点があります。しかし、TensorFlow の多くの問題がユーザーに PyTorch を選択させる原因となっていることは否定できません。

一つ目は使いやすさの問題です。 TensorFlow は、最初に登場したときは学習曲線が急でした。このフレームワークを習得するのは、新しいプログラミング言語を学ぶのと同じくらい難しいです。 PyTorch は非常に「Pythonic」になるように設計されており、Python と同じくらい簡単に使用できます。

2つ目はAPIの安定性です。 TensorFlow が誕生した当時、業界や学界ではディープラーニングフレームワークの設計経験が不十分だったため、API の定義、設計、機能の実装に関してさまざまな認識があり、開発者は多くの回り道をしていました。さらに、ディープラーニング自体も急速に発展しており、新しいアルゴリズムには高速な API 実装が必要です。その結果、TensorFlow の API に繰り返し変更が加えられ、多くの contrib API が追加されました。対照的に、PyTorch の API 反復はより安定しており、名前の混乱の問題はありません。

上記の 2 つの理由から、PyTorch は TensorFlow よりも開始コストが低く、使用が高速です。そのため、新しいアイデアを頻繁に生み出す学術コミュニティは、PyTorch を好みます。結局のところ、彼らが必要としているのは、アイデアを素早く実現し、素早く反復できるディープラーニングフレームワークなのです。さまざまなアルゴリズムや独創的なアイデアを頻繁に生み出す研究機関として、OpenAI が PyTorch を使用するのは当然ながら合理的です。