自律走行レースのためのマルチモーダルセンサーフュージョンとターゲット追跡

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

自律走行レースのためのマルチモーダルセンサーフュージョンとオブジェクトトラッキング

論文リンク: https://arxiv.org/pdf/2310.08114.pdf

コードリンク: https://github.com/TUMFTM/FusionTracking

著者所属: ミュンヘン工科大学

ジャーナル: IEEE Transactions on Intelligent Vehicles

論文のアイデア:

周囲の物体を確実に検出して追跡することは、自律走行車の包括的な動作予測と計画に不可欠です。単一のセンサーには限界があるため、全体的な検出能力を向上させるには、複数のセンサーのモダリティ融合が必要です。さらに、センサーノイズの影響を軽減し、状態推定の精度を向上させるには、堅牢なモーショントラッキングが不可欠です。複雑で競争の激しい高速シナリオでは、自動運転車ソフトウェアの信頼性がさらに重要になります。本稿では、高速アプリケーション向けにモジュール式のマルチモーダル センサー フュージョンおよび追跡アプローチを提案します。この方法は、異種の検出入力を融合して周囲のオブジェクトを一貫して追跡できる拡張カルマン フィルタ (EKF) に基づいています。新しい遅延補正方法により、認識されるソフトウェア遅延の影響を軽減し、更新されたターゲット リストを出力できます。これは、Indy Autonomous Challenge 2021 および CES (AC@CES) 2022 で高速の実際のシナリオで検証された最初の融合および追跡方法であり、組み込みシステムでの堅牢性と計算効率を実証しています。ラベル付けされたデータは必要なく、0.1 m 未満の位置追跡残差を実現します。

主な貢献:

マルチモーダル異種検出のためのモジュール式後期融合アプローチ

運動学的な前後統合を通じて遅延を補正する認識ソフトウェア。

追跡アルゴリズムは、最高時速 270 km の完全な自動運転ソフトウェアの実際のアプリケーションで実証されています。   自動運転レース[4]、[5]。

ネットワーク設計:

これらの問題に基づいて、本論文の問題は次のように述べられています。本論文では、複数の異種センサー モダリティを確実に処理し、周囲の物体の動きを一貫して正確に追跡できる堅牢な融合および追跡方法を提供することを目指しています。このアプローチは、低レイテンシが求められ、認識ソフトウェアの遅延を考慮した高速自動運転用のソフトウェア スタックに現実世界でも適用できるはずです。さらに、その適用にはラベル付けされたデータは必要ありません。この論文でこの問題を解決する後期融合およびターゲット追跡方法は、次のように構築されます。マルチモーダル レイト フュージョンは、複数の異種検出パイプラインからの入力を処理できます。生の入力はフィルタリングされ、軌道外のターゲットや各ターゲットの複数の検出が検索されます。次に、距離ベースのマッチングにより、フィルタリングされたターゲット リストが現在追跡されているターゲットに時系列順に関連付けられます。マッチングが成功した場合、状態推定のために拡張カルマン フィルタ (EKF) が動作モデルに適用されます。このアプローチの重要な特徴は遅延補正です。検出入力の遅延により、観測ストアで後方検索が適用され、センサーのタイムスタンプで追跡されたターゲットが取得されます。次に、履歴状態の最適化された状態推定が運動モデルと順方向に統合され、保存されているすべてのエントリが現在のタイムスタンプに更新されます。このようにして、動作予測と自己動作計画は、周囲のオブジェクトの更新され最適化された軌道を受け取ります。図 1 は、2022 CES (AC@CES) 自動運転チャレンジで記録された提案手法の典型的なシナリオを示しており、脱線フィルター (黒)、遅延認識 (オレンジ色の破線)、補正された最適化された状態推定 (オレンジ色の立方体) が含まれています。

図 1. AC@CES 2022 で提案されたマルチモーダルターゲット融合および追跡方法の実際のシーン (走行方向: 左)。

図 2. マルチモーダル センサー フュージョンとターゲット追跡アプローチのインターフェース (黒) と構造。

図 3. AC@CES 2022 での高速実世界シナリオの例。自我速度は255  物体の速度は233    。

図4. LiDAR（青）とRADAR（オレンジ）の検出入力データのデータ分析。

実験結果:

図 5. センサータイムスタンプから LiDAR (青) および RADAR (オレンジ) 追跡サブスクリプションまでの遅延 (ミリ秒単位) (左) と移動距離 (メートル単位) (右) の分布。

図 6. 異なる観測時間における融合システム (黒)、LiDAR (青)、および RADAR (オレンジ) 検出入力の残差誤差。

引用：

Karle, P., Fent, F., Huch, S., Sauerbeck, F., & Lienkamp, ​​M. (2023). 自律走行レースのためのマルチモーダルセンサーフュージョンとオブジェクトトラッキング。   https://doi.org/10.1109/TIV.2023.3271624 出典：ArXiv.

オリジナルリンク: https://mp.weixin.qq.com/s/v4Mmghz-g5iKSQ4S4oSM_A