安定したビデオ拡散がここにあります、コードウェイトはオンラインです

AI描画で有名なStability AIが、ついにAI生成動画の分野に参入した。

今週の火曜日、Stable Diffusionに基づくStable Video Diffusionビデオ生成モデルがリリースされ、AIコミュニティではすぐに白熱した議論が始まりました。

「ついに待っていた」という声も多かった。

プロジェクトアドレス: https://github.com/Stability-AI/generative-models

これで、元の静止画像に基づいて数秒のビデオを生成できます。

Stability AI の独自の Stable Diffusion グラフ モデルに基づいて、Stable Video Diffusion は、オープン ソースまたは商用カテゴリで数少ないビデオ生成モデルの 1 つになりました。

しかし、まだすべての人が利用できるわけではなく、Stable Video Diffusion ではユーザーの待機リスト登録を開始しています (https://stability.ai/contact)。

Stable Video Diffusion は、マルチビュー データセットを微調整することで、単一の画像からのマルチビュー合成など、さまざまな下流タスクに簡単に適応できることが報告されています。 Stability AIは、安定拡散を中心に構築されたエコシステムと同様に、この基盤の上にさまざまなモデルを構築および拡張することを計画していると述べています。

Stable Video Diffusion は、3 ～ 30 fps のカスタマイズ可能なフレーム レートで 14 fps および 25 fps のビデオを生成できる 2 つの画像からビデオへのモデルとしてリリースされています。

外部評価では、Stability AI は、これらのモデルがユーザー嗜好研究における主要なクローズドソース モデルよりも優れていることを実証しました。

Stability AI は、Stable Video Diffusion は現段階では現実世界や直接的な商用アプリケーションには適しておらず、セキュリティと品質に関するユーザーの洞察とフィードバックに基づいてモデルが改善されることを強調しました。

論文アドレス: https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

Stable Video Diffusion は、Stability AI の多様なオープンソース モデル ファミリーの一員です。現在、同社の製品は画像、言語、音声、3D、コードなど複数のモダリティにまたがっているようで、これが AI の改善に対する同社の取り組みの最良の証拠となっています。

安定したビデオ拡散の技術的側面

高解像度ビデオ潜在拡散モデルである Stable Video Diffusion は、テキストからビデオ、または画像からビデオへの SOTA レベルを実現します。最近、2D 画像合成用にトレーニングされた潜在拡散モデルは、時間レイヤーを挿入し、小規模な高品質ビデオ データセットを微調整することで、生成ビデオ モデルに変換されました。しかし、トレーニング方法は文献によって大きく異なり、ビデオ データ ラングリングの統一された戦略について、この分野ではまだ合意が得られていません。

Stability Video Diffusion 論文では、Stability AI が、ビデオ潜在拡散モデルを正常にトレーニングするための 3 つの異なる段階 (テキストから画像への事前トレーニング、ビデオの事前トレーニング、高品質ビデオの微調整) を特定し、評価しました。また、高品質のビデオを生成するために慎重に準備された事前トレーニング データセットの重要性を示し、キャプションやフィルタリング戦略を含む強力なベース モデルをトレーニングするための体系的でキュレーションされたパイプラインを紹介します。

論文では、Stability AI は、ベースモデルを微調整することによる高品質データへの影響についても調査し、クローズドソースのビデオ生成に匹敵するテキストからビデオへのモデルをトレーニングしました。このモデルは、画像からビデオへの生成や、カメラのモーション固有の機能への LoRA モジュールの適応性などの下流タスクに強力なモーション表現を提供します。さらに、このモデルは強力なマルチビュー 3D 事前分布を提供できます。これは、最小限の計算要件でフィードフォワード方式でオブジェクトの複数のビューを生成し、画像ベースの方法よりも優れたパフォーマンスを発揮するマルチビュー拡散モデルの基礎として機能します。

具体的には、モデルを正常にトレーニングするには、次の 3 つの段階が含まれます。

ステージ 1: 画像の事前トレーニング。この論文では、画像の事前トレーニングをトレーニング パイプラインの最初の段階として検討し、ビデオ モデルに強力な視覚表現を装備する Stable Diffusion 2.1 上に初期モデルを構築します。画像の事前トレーニングの効果を分析するために、この論文では 2 つの同一のビデオ モデルをトレーニングして比較しました。図 3a 結果は、品質とヒント追跡の両方の点で、画像の事前トレーニング済みモデルが好まれることを示しています。

ステージ 2: ビデオ事前トレーニング データセット。この論文では、適切な事前トレーニング データセットを作成するためのシグナルとして人間の好みを活用しています。この記事で作成されたデータセットは、5億8000万組の注釈付きビデオクリップで構成される LVD (Large Video Dataset) です。

さらに調査を進めると、生成されたデータセットには最終的なビデオ モデルのパフォーマンスを低下させる可能性のある例が含まれていることがわかりました。そのため、本論文ではデータセットに注釈を付けるために高密度オプティカルフローも採用しています。

さらに、この論文では、大量のテキストを含むクリーンなクリップに光学文字認識を適用します。最後に、CLIP 埋め込みを使用して、各クリップの最初、中間、最後のフレームに注釈を付けます。次の表は、LVD データセットの統計を示しています。

ステージ3: 高品質な微調整。最終段階でのビデオ事前トレーニングの影響を分析するために、初期化のみが異なる 3 つのモデルを微調整します。図4eに結果を示します。

良いスタートのようです。 AIを使って直接映画を生成できるようになるのはいつでしょうか？