未来に向けて、自動運転のための初のマルチビュー予測+計画世界モデルが登場

最近、ワールドモデルという概念が大きな盛り上がりを見せており、自動運転の分野もただ黙って見ているわけにはいかない。中国科学院オートメーション研究所のチームは、エンドツーエンドの自動運転計画の安全性を高めることを目的とした、Drive-WMと呼ばれる新しいマルチビューワールドモデルを初めて提案した。

ウェブサイト: https://drive-wm.github.io

論文リンク: https://arxiv.org/abs/2311.17918

自動運転の予測と計画のための初のマルチビュー世界モデル

CVPR2023自動運転セミナーでは、テスラとウェイブという2つのテクノロジー大手がブラックテクノロジーを披露し、自動運転分野で「生成世界モデル」と呼ばれる新しい概念が流行した。 Wayve は、驚異的なビデオシーン生成機能を実証する GAIA-1 生成 AI モデルもリリースしました。最近、中国科学院自動化研究所の研究者らも、新たな自動運転世界モデル「Drive-WM」を提案した。これは、マルチビュー予測を備えた世界モデルを初めて実現し、現在主流となっているエンドツーエンドの自動運転プランナーとシームレスに統合したものである。

Drive-WM は、Diffusion モデルの強力な生成機能を活用して、リアルなビデオシーンを生成します。

あなたが運転しているときに、車載システムがあなたの運転習慣と道路状況に基づいて将来の展開を予測し、それに応じた視覚的なフィードバックを生成して、軌道ルートの選択をガイドしていると想像してください。この未来を予見する能力とプランナーを組み合わせることで、自動運転の安全性が大幅に向上します。

マルチビュー世界モデルによる予測と計画。

世界モデルとエンドツーエンドの自動運転を組み合わせることで運転の安全性が向上

Drive-WM モデルは、ワールドモデルとエンドツーエンドの計画を初めて組み合わせ、エンドツーエンドの自動運転の開発に新たな章を開きます。各タイムステップで、プランナーはワールドモデルを使用して将来のシナリオを予測し、画像報酬関数を使用してそれらを完全に評価できます。

世界モデルに基づくエンドツーエンドの軌道計画ツリー

最適な見積りを選択し、計画ツリーを拡張することで、より安全で効率的な計画を実現します。

Drive-WM は、エンドツーエンドの計画におけるワールドモデルの 2 つのアプリケーションを先駆的に開発しました。

1. OOD シナリオに対する世界モデルの堅牢性を実証しました。比較実験を通じて、著者らは、現在のエンドツーエンドプランナーは OOD 状況に直面したときにはうまく機能しないことを発見しました。

著者は次のような図を示しています。初期位置が横方向のオフセットによってわずかに乱されると、現在のエンドツーエンドプランナーでは、適切な計画ルートを出力することが困難になります。

エンドツーエンドのプランナーが OOD 状況に直面したときに、合理的な計画ルートを出力することは困難です。

Drive-WM の強力な生成機能は、OOD 問題を解決するための新しいアイデアを提供します。著者らは、生成されたビデオを使用してプランナーを微調整し、OOD データから学習することで、そのようなシナリオに直面したときにプランナーのパフォーマンスを向上させることができます。

2. エンドツーエンドの計画改善における将来シナリオ評価の導入の役割を明らかにした

マルチビュービデオ生成モデルの構築方法

マルチビュービデオ生成における時空間の一貫性は、常に困難な問題でした。 Drive-WM は、時間レイヤーエンコーディングを導入することでビデオ生成機能を拡張し、ビュー分解モデリングを通じてマルチビュービデオ生成を実現します。ビュー分解を生成するこの方法により、ビュー間の一貫性が大幅に向上します。

Drive-WM全体のモデル設計

高品質なビデオ生成と制御性

Drive-WMは、高品質なマルチビュービデオ生成を実現するだけでなく、優れた制御性も備えています。 Drive-WM は、テキスト、シーンレイアウト、モーション情報を通じてマルチビュービデオの生成を制御するためのさまざまな制御オプションも提供しており、将来のニューラルシミュレーターに新たな可能性をもたらします。

たとえば、テキストを使用して天気や照明を変更します。

たとえば、歩行者の生成と前景の編集:

速度と方向の制御の使用:

交差点でのUターンや芝生への進入などのまれなイベントの発生: