Facebook AI が、強力なフルスタック ビデオ ライブラリである PyTorchVideo をオープンソース化し、モバイル フォンで SOTA モデルを 8 倍高速に実行できるようにしました。

[[409522]]

動画は徐々にテキストや画像を超え、最も広く利用されているメディア形式になったと言えます。また、ユーザーの閲覧時間の大部分を占めるため、動画の理解は特に重要です。

大手インターネット企業やトップクラスの大学が、SOTA ビデオ理解モデルとアルゴリズムの研究に知恵を絞って競い合っています。

Google、Facebook、Open-MM Labなどが独自のキラー兵器を発売した後、Facebook AIはPySlowFastを発売してから1年後にPyTorchVideoで戦場に復帰しました。

公式サイト: https://pytorchvideo.org/

今日は、PyTorchVideo がどのようなコード ベースであるか、また、オープン ソースの日に GitHub トレンド リストでどのようにランク付けされたかを見ていきます。

PyTorchVideoはどこでも使える

ここにいる他の人たちとは異なり、ビデオ コード理解フレームワークは独自のフレームワークにのみ執着しており、他のコード ベースに移行することはできません。

PyTorchVideo は、torchvision などの基本コード ライブラリと同様に、「どこでも使用できます」。 PyTorchVideo は、ビデオ理解タスクで使用できるだけでなく、他のタスクのコード ライブラリとしても使用できます。

Facebook の AI ラボの重役たちは、独自の PySlowFast コード ベースで PyTorchVideo をシームレスに使用しただけでなく、Classy Vision や PyTorch Lightening などのフレームワークにもシームレスに挿入しました。

PyTorchVideo は、恵まれた環境で誕生しました。PyTorch Lightning-Flash のビデオ理解ライブラリとして直接使用され、デフォルトで基本ライブラリとして使用されました。

FiftyOne プロジェクトでは、オープンソース コミュニティの人々が Lightning-Flash を使用して、ビデオのアクション カテゴリを直接表示できるビデオ閲覧ツールボックスを作成しました。

51: https://medium.com/pytorch/ushering-in-the-new-age-of-video-understanding-with-pytorch-1d85078e8015

PyTorchVideoは何でもできる

さらに驚くべきことは、PyTorchVideo は「何でもできる」ということです。ビデオ分類やアクション検出などのタスクで SOTA 結果を達成しただけではありません。

このAIは、LeCun氏のお気に入りの自己教師あり学習や、オーディオイベント検出などのさまざまな奇妙なタスクを「少しだけ理解」しています。

PyTorchVideo の SlowFast モデルに基づくアクション監視

PyTorchVideoは携帯電話でも再生可能

さらに驚くべきことは、PyTorchVideo がモバイル アクセラレーションの最適化もオープンソース化しており、ステップ バイ ステップのチュートリアルを提供しているだけでなく、ビデオ モデルのコア カーネルを段階的に最適化し、アクセラレーションを量子化していることです。

数倍の高速化を経て、モバイルデバイス上でリアルタイムに動作します。公式はAndroidとiOSモバイル端末向けのオープンソースコードも直接リリースしており、SOTAビデオモデルを携帯電話に直接インストールして楽しむことができます。

PyTorchVideo は、Samsung Galaxy S10 スマートフォンで実行される X3D モデルを高速化し、8 倍の速度で実行し、1 秒間のビデオを約 130 ミリ秒で処理します。

PyTorchVideoとは

PyTorchVideo の正体は、さまざまなコード ベース、さまざまな SOTA ビデオ モデル、オープン ソース ビデオ モデルに対応できるビデオ理解用の機械学習ライブラリです。

さらに、さまざまな基本的なビデオ アルゴリズム、ビデオ データ操作、さまざまな一般的なビデオ データ セット、ビデオ拡張、ビデオ モデルの高速化と量子化、およびその他のフルスタックのビデオ関連コンテンツも含まれます。

PyTorchVideoの遊び方

まずそれを潰します。

 pip pytorchビデオをインストールする

その後、公式チュートリアルを閲覧して実験してみたところ、PyTorchVideo でビデオ モデルをトレーニングするには、わずか数行しかかからないことがわかりました。

 Pytorchvideoからデータ、モデル、アクセラレータをインポートする
# 視覚モデルと音響モデルを作成します。
 visual_model = models.slowfast.create_slowfast(
    モデル番号クラス = 400 、
 ）
音響モデル = models.resnet.create_acoustic_resnet(
    モデル番号クラス = 400 、
 ）
 # Kinetics データローダーを作成します。
 kinetics_loader = torch.utils.data.DataLoader(
    データ.キネティクス(
        データパス=データパス、
        clip_sampler = data.make_clip_sampler(
 「ユニフォーム」 、
            クリップ時間、
        ）、
    ）
    バッチサイズ=BATCH_SIZE、
 ）
 # モデルをデプロイします。
 visual_net_inst_deploy = アクセラレータ.deployment.\
    デプロイ可能な形式に変換します(net_inst、入力テンソル)

では、オープンソースのトレーニング モデル ライブラリから直接モデルを使用するとどのような効果があるのでしょうか?

モデル = torch.hub.load( "facebookresearch/pytorchvideo" 、 model=model_name、 pretrained=True)

公式モデルライブラリは非常に豊富で、ただただ驚嘆するばかりです。

キネティクス-400

サムシングサムシングV2

ジェスチャーゲーム

アヴァ（V2.2）

PyTorchVideo を搭載した Lightning Flash でも、ビデオの分類には 3 行しかかかりません。

フラッシュからインポートVideoClassifier
モデル = VideoClassifier.load_from_checkpoint( "checkpoint_uri" )
 model.predict( "ビデオフォルダへのパス" )

公式ブログによると、PyTorchVideo は、ICCV、ICML などに最近登場した Facebook の人工知能研究所の成果を含む、多数のビデオ モデルをオープンソース化している。

• マルチスケールビジョントランスフォーマー https://arxiv.org/abs/2104.11227
• 教師なし時空間表現学習に関する大規模研究 https://arxiv.org/abs/2104.14558
• ビデオからの半教師あり学習のためのマルチビュー疑似ラベリング https://arxiv.org/abs/2104.00682
• ビデオ理解に必要なのは時空間注意だけでしょうか?https://arxiv.org/abs/2102.05095
• ボールから目を離さない: ビデオトランスフォーマーにおける軌道注意https://arxiv.org/abs/2106.05392
• ビデオ認識のための SlowFast ネットワーク https://arxiv.org/abs/1812.03982
• X3D: 効率的なビデオ認識のためのアーキテクチャの拡張 https://arxiv.org/abs/2004.04730
• ビデオ認識のためのオーディオビジュアル SlowFast ネットワーク https://arxiv.org/abs/2001.08740
• 非局所ニューラルネットワーク https://arxiv.org/abs/1711.07971
• 動作認識のための時空間畳み込みの詳細 https://arxiv.org/abs/1711.11248
• チャネル分離畳み込みネットワークによるビデオ分類 https://arxiv.org/abs/1904.02811

MultiScale Vision Transform もその中にあるようです。興味のある友人は調べてみてください。