北京大学とテンセントがマルチモーダル15角形の戦士を制作しました! 言語を中心に据えて、ビデオ、オーディオ、奥行き、赤外線認識などのモダリティを「パンチとキック」で攻撃します。 具体的には、研究者らはLanguageBindと呼ばれるマルチモーダル事前トレーニング フレームワークを提案しました。 言語を他のモダリティとのリンクとして使用して、言語エンコーダーを固定し、対照学習方法を使用して各モダリティを共有機能空間にマッピングし、マルチモーダル データの意味的な調整を実現します。 この方法を使用することで、モデルは 5 つのデータセットで新しい SOTA パフォーマンスを達成し、15 のゼロショット検索タスクで大幅なパフォーマンス向上を実現し、あらゆる面で ImageBind と OpenCLIP を上回りました。 各モードを言語にバインドするLanguageBind は 3 つの部分で構成されています。 マルチモーダルエンコーダー、言語エンコーダー、およびマルチモーダル共同学習。 まず、マルチモーダルエンコーダー部分を見てみましょう。 言語以外のモダリティについては、研究者らはパッチサイズが 14 の 24 層、1024 次元の視覚トランスフォーマーを使用しました。エンコーダーは OpenCLIP-large から初期化されます。 深度と赤外線は RGB 画像として扱われ、RGB 画像に合わせてチャネル次元で 3 回複製されます。 ImageBind に従って、オーディオデータは繰り返しとパディングを含む 10 秒間 (128 メル ビン) のスペクトログラムに変換されます。
エンコーダー内のすべてのトークンを処理することの非効率性を解決するために、研究者は画像をパッチに分割し、MAE 法に従ってマスクを通じて画像シーケンスの小さな部分を取得しました。
同時に、微調整を加速するために LoRA テクノロジーが使用されます。重み行列 W0∈Rd×k を持つモーダルエンコーダの場合、新しい重み行列 BA を学習するときに重み行列 W0 は変更されません。
LanguageBind メソッドを複数 (N) のモダリティに拡張する最初のステップは、データをトークンのシーケンスに処理することです。その後、OpenCLIP からパラメータが初期化されます。次に、言語エンコーダーを固定したまま、トークン マスキングと LoRA の微調整によって、さまざまなモダリティのエンコーダーがトレーニングされます。最後に、モダリティは言語機能空間に合わせて調整されます。 言語エンコーダーとマルチモーダル共同学習の部分を見てみましょう。 言語エンコーダーの場合、研究者は OpenCLIP から初期化された 768 次元の 12 層トランスフォーマー モデルを使用しました。 与えられたテキストに対して、まず BPE トークナイザーを使用して単語を比較的一般的なサブワードに分割します。各サブワードは、単語埋め込みレイヤーに埋め込まれた一意のトークンに対応します。最後に、これらのトークンは言語エンコーダーによってエンコードされ、テキスト ペアが取得されます。 ここで、L はシーケンスの長さを表します。異なる様式間の整合性を保証するために、研究者は対照学習原理を採用しました。 このアプローチの目的は、ペアになっているデータの類似性を高めて同じ意味空間に近づけると同時に、ペアになっていないデータの類似性を減らすことです。研究者たちは対照学習を利用して、さまざまな様相を言語に結び付けました。 高品質なデータセットの構築さらに、研究者らは「VIDAL-10M」と呼ばれる高品質のデータセットも作成しました。これには、ビデオ言語、赤外線言語、深度言語、音声言語が揃った1,000 万のデータ ペアが含まれています。これは、深度と赤外線のモダリティを備えた初の大規模なビデオ マルチモーダル データセットです。 データセットの構築方法は次のとおりです。 △VIDAL-10M 構造フレーム 最初のステップは、検索用語データベースを生成することです。このプロセスで、研究者は、ラベルやタイトルを含むさまざまな視覚タスクデータセットからのテキストデータを活用して、豊富な視覚的概念と多様性を備えたビデオデータセットを構築する独自の検索用語取得戦略を設計しました。 2 番目のステップは、インターネットから関連するビデオとオーディオを収集し、一連のフィルタリング プロセスを実行して、データ セットの品質と正確性を確保することです。 このプロセス中、研究者は、テキストベースのフィルタリング、ビジュアルベースのフィルタリング、オーディオベースのフィルタリングなど、さまざまなフィルタリング方法を使用して、データセット内のビデオとオーディオが検索用語に関連しており、高品質であることを確認しました。 3 番目のステップでは、赤外線および深度モダリティの生成、およびマルチビュー テキストの生成と強化を実行します。 空間情報の強化に関しては、研究者らは OFA モデルを使用して複数のキーフレーム記述を生成し、ビデオ コンテンツの空間表現品質を向上させました。 同時に、時間情報の強化に関しては、ビデオ コンテンツ、タイトル、ハッシュタグ タグが mPLUG-owl モデルに入力され、より洗練された豊富な時間次元の説明が得られます。 最後に、研究者は ChatGPT モデルを使用して、テキストの説明をさらに改良し、強化しました。 要約すると、マルチビュー テキスト拡張機能は、タイトル、タグ、キーフレームの説明、ビデオの説明などの複数のコンポーネントをカバーし、ビデオ コンテンツの包括的かつ詳細な説明を提供します。 複数のテストでSOTAを達成テスト段階では、多数の実験により VIDAL-10M データセットと LanguageBind メソッドの有効性が検証され、ビデオ、オーディオ、その他のモーダル理解タスクで優れたパフォーマンスが達成されました。 LanguageBind は 4 つのデータセットすべてで SOTA パフォーマンスを達成します。 これは、MSR-VTT 上の InterVideo 方式よりも 1.9% 高く、MSVD 上の InterVideo よりも 8.8% 高く、DiDeMo 上の InterVideo よりも 6.3% 高く、ActivityNet 上の InterVideo よりも 4.4% 高くなります。 InterVideo がより広範囲のトレーニング データを使用していることは注目に値します。これは LanguageBind の有効性を示しています。 △ゼロショット動画テキスト検索結果 ビデオ言語、赤外線言語、深度言語、音声言語のゼロショット分類は、すべてのデータセットで ImageBind や OpenCLIP よりも精度が優れています。 Zero-Shot 音声言語検索も優れたパフォーマンスを発揮します。 論文リンク: https://arxiv.org/pdf/2310.01852.pdf |
<<: 総合異常検知の新たな夜明け:華中科技大学などがGPT-4Vの総合異常検知性能を明らかに
>>: Google DeepMindがAGIをランク付け、ChatGPTのランクはどこになるか推測してください
現代人は時間の概念が曖昧です。よく考えなければ、プーチン大統領が2月24日にウクライナに宣戦布告して...
人工知能は現在、飛躍的に成長しています。たとえば、自動運転車は時速数百万マイルで走行し、IBM Wa...
この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...
Facebook、プリンストン大学、MITのAI研究者らは最近、ディープラーニングが実際にどのよう...
[[327938]]ビッグデータダイジェスト制作著者: 劉俊環半年前に Taobao をオープンした...
1. 人工知能と機械学習記事を始める前に、下の図 1.1 に示すように、人工知能、機械学習、ディープ...
10月17日のニュースによると、人工知能はプログラマーのプログラミング速度を上げ、ドライバーの安全...
この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転...
COVID-19の世界的パンデミックを受けて、職場への復帰は通常通りの業務ではなく、セキュリティ シ...
自動運転技術が業界全体で開発のマイルストーンに到達し続ける一方で、都市は自動運転車(AV)の目標を補...
研究論文によると、写真が実際に生きている人物を写したものか、それとも攻撃のデモンストレーションなのか...