特定のイベントが発生した正確な時刻を特定します。 Byte＆復旦大学のマルチモーダル大型モデル解釈ビデオはとても良い

Byte & 復旦大学のマルチモーダル理解モデルはこちらです:

ビデオ内の特定のイベントが発生した時間を正確に特定できます。

たとえば、次のビデオでは:

犬が振り返ってカメラを見たときのタイムスタンプは何ですか?

スケートボードを蹴るときに爪を使うのはいつですか?

ここで、動画の赤ちゃんがメガネを押し上げたり、体を伸ばしたりしたのはいつでしょうか？この本を読み始めたのはいつですか?

このような質問に対して、このレゴと呼ばれるモデルは、すべてを理解し、ためらうことなく正しい答えを出すことができます。

これらの研究結果により、今後は動画の視聴や情報の検索がさらに便利になりそうですね。

地域情報を正確に把握できるマルチモーダルLLMが登場

LEGO は、言語強化型マルチモーダルグラウンディングモデルの略です。

これは主に、複数のモダリティにわたってきめ細かな理解を実行するマルチモーダル LLM の能力に焦点を当てています。これまでの業界の成果は、主にグローバル情報に重点を置いていました。

この目標を達成するために、著者はデータセットから始めて、モデルトレーニング用のマルチモーダル、マルチ粒度の質問応答データセットを作成しました（これはまもなくオープンソースになります）。

このデータセットの構築には、2 つの主要なプロセスが含まれます。

1 つ目はデータセット変換です。

この段階では、著者らは、モダリティの調整と細分化された調整のための基本的なマルチモーダルデータセットを構築することを目指しています。

データセットの品質は比較的低いため、主に公開データセットを変換して取得されます。

下の図の上部に示すように、GPT-3.5にタスクの説明を与えてタスク固有の質問ライブラリを生成し、最終的に1ラウンドの対話形式で質問と回答のペアを生成します。

結果として得られるデータセットは、品質を確保するためにフィルタリングされます。

画像モダリティについては、モダリティの調整に LLaVA-pretrain595K データセットを使用し、きめ細かい調整には RefCOCO などの特定のデータセットを使用しました。

ビデオモダリティは Valley-Pretrain-703K を使用して調整され、きめ細かい調整には Charades-STA データセットが使用されます。

2 つ目は、命令チューニングデータセットの生成です。

このデータセットの目的は、モデルが人間の指示をよりよく理解し、それに従うようにすることです。

上の図の下部に示すように、著者らはコンテキストの例を作成するために、公開されているデータセットのサブセット(Flickr30K Entities、VCR、DiDeMo など)も選択して手動で注釈を付けました。これは、命令チューニングデータセットを生成するときに、GPT-3.5 が同様のパターンに従うようにガイドするために使用されます。

その後、タスク固有のシステムプロンプトとランダムに選択された例が GPT-3.5 に入力され、単一ターンまたは複数ターンのダイアログが生成されます。最後に、データセットの品質を確保するためにデータのフィルタリングが実行されます。

以下は、3 段階のトレーニング後に生成された最終データサンプルの例です。

LEGO モデルのアーキテクチャは次のとおりです。

各モダリティの入力は個別のエンコーダーを介して処理され、特徴が抽出され、その後、アダプターを使用して LLM の埋め込み空間にマッピングされます。

この図は、ビデオモードと画像モードの 2 つの例を示しています。青いボックスは入力としてビデオを表し、黄色のボックスは入力として画像を表します。

モジュール設計とアダプターに基づくアーキテクチャにより、LEGO は新しいエンコーダーをシームレスに統合し、ポイントクラウドや音声などの追加モダリティを処理できるため、優れた拡張機能となります。

最後に、LEGO は Vicuna1.5-7B を基本言語モデルとして使用し、マルチモーダル事前トレーニング、きめ細かいアライメント調整、クロスモーダル指示調整の 3 段階でトレーニングを完了します。

実験評価は次のとおりです。

画像タスクにおいて、RECタスクにおけるLEGOモデルと他のモデルのパフォーマンスは次の表の通りです。すべてのデータセットにおいて比較的競争力のあるパフォーマンスを示していることがわかります。

ビデオタスクでは、LEGO はビデオ全体の理解に重点を置いており、VideoLLaMA、VideoChat、Valley の 3 つのモデルと比較してそのパフォーマンスは非常に優れています。