魚眼カメラと超音波センサーの融合により、鳥瞰図による近距離障害物認識を実現

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

• 論文リンク: https://browse.arxiv.org/pdf/2402.00637.pdf
• 動画リンク: https://youtu.be/JmSLBBL9Ruo

本稿では、鳥瞰図における近距離障害物認識を実現するための魚眼カメラと超音波センサーの融合について紹介します。正確な障害物認識は、自動運転の近距離認識範囲における基本的な課題です。従来、魚眼カメラは、後方障害物の位置特定を含む包括的な周囲認識によく使用されます。ただし、これらのカメラのパフォーマンスは、暗い場所、夜間、または強い日光にさらされると大幅に低下します。対照的に、超音波センサーなどの低コストのセンサーは、これらの条件の影響をほとんど受けません。したがって、本論文では、鳥瞰図 (BEV) での効率的な障害物認識のために魚眼カメラと超音波センサーを利用する初のエンドツーエンドのマルチモーダル融合モデルを提案します。当初、ResNeXt-50 は、各モダリティに固有の特徴を抽出するための単一モダリティ エンコーダーのセットとして採用されました。次に、可視スペクトルに関連付けられた特徴空間が BEV に変換されます。これら 2 つのモダリティの融合はカスケードによって実現されます。一方、超音波スペクトルに基づくユニモーダル特徴マップは、コンテンツ認識型拡張畳み込みを通じて、融合特徴空間内の 2 つのセンサー間のセンサーの不整合を軽減するために使用されます。最後に、融合された特徴は 2 段階セマンティック占有エンコーダーによって使用され、正確な障害物認識のためのグリッドごとの予測が生成されます。本論文では、2 つのセンサーのマルチモーダル融合の最適な戦略を決定するための体系的な研究が行われます。この記事では、データセットの作成プロセス、注釈のガイドライン、包括的なデータ分析について詳しく説明し、すべてのシナリオが適切にカバーされるようにします。私たちのデータセットに適用すると、提案されたマルチモーダル融合方法の堅牢性と有効性が実証されます。

この論文の主な貢献

• 鳥瞰図における近距離障害物認識用に特別に設計された新しいマルチセンサーディープネットワークを紹介します。本論文で提案されているネットワークは、魚眼カメラと超音波センサーシステムを組み合わせたもので、この方向への最初の取り組みとなります。
• 魚眼カメラや超音波センサーのデータを含むマルチセンサーデータセットを構築するための戦略が確立されています。この論文では、同様のアプリケーションに適したマルチモーダルモデルを構築するために重要な注釈ルールを定義し、関連するデータ統計を提供します。
• この論文では、非常に高い精度を実現するエンドツーエンドのトレーニング可能なネットワークの実装について説明します。さらに、本論文では、提案を再構築して、単一モーダル入力で同じ機能をサポートすることを提案し、マルチモーダル ソリューションの利点を詳細に分析します。
• 私たちは、提案されたさまざまなネットワーク コンポーネント、さまざまな機能融合技術、さまざまな拡張方法、さまざまな損失関数を含む包括的なアブレーション研究を実施します。

オリジナルリンク: https://mp.weixin.qq.com/s/B0zQZ2_SapKuynG2qis1ug