「人と車のインタラクション」に新たなブレークスルー！パーデュー大学が Talk2Drive フレームワークをリリース: 学習可能/カスタマイズ可能な「コマンド認識」システム

パデュー大学のデジタルツインラボの最新の成果として、研究者らは、大規模言語モデル (LLM) を使用して自動運転車にインテリジェントなコマンド解析機能を提供するという革新的な技術を導入しました。

この技術の中核となるのは、人間の自然言語を理解することで自動運転車を制御し、これまでにない人間と車の相互作用を実現することを目指す Talk2Drive フレームワークです。

写真

論文リンク: https://arxiv.org/abs/2312.09397

プロジェクトウェブサイト: purduedigitaltwin.github.io/llm4ad

Talk2Drive フレームワークは、革新的な設計により、自動運転車と人間のドライバー間の効率的で直感的な対話を可能にします。フレームワークの操作プロセスは、コマンドの受信、処理、推論から実行可能コードの生成、コードの実行、フィードバックの収集まで、いくつかの重要なステップをカバーします。

まず、フレームワークは、高度な音声認識技術を使用して、人間の口頭コマンドを受信し、テキスト指示に変換します。このステップにより、人間の意図が正確に理解されることが保証されます。

次に、天気や交通状況などのクラウドからのリアルタイムの環境データと組み合わせることで、LLM はコマンドを処理する際にこの重要なコンテキスト情報を考慮に入れることができ、生成された運転戦略が安全で、現在の環境条件に適応したものになることを保証します。

写真

LLM は、コンテキスト学習と思考連鎖の手がかりを使用してコマンドについて推論し、単純な運転指示だけでなく、車両の低レベルコントローラーで調整する必要がある複雑な運転動作とパラメーターを網羅するコードを生成します。前方距離や速度などのパラメータの調整は、現在の道路状況とドライバーのニーズに対する深い理解に基づいています。

セキュリティの面では、Talk2Drive フレームワークは、生成されたコードの形式とパラメータを厳密にチェックすることで、自動運転動作の安全性を確保します。

、再生時間 05:24

さらに、メモリモジュールの導入により、システムはドライバーの好みやフィードバックを記録して学習できるようになり、ドライバーによりパーソナライズされた運転体験を提供できるようになります。

Talk2Drive フレームワークのユニークな点は、高度にパーソナライズされたサービスです。

「できるだけ早く目的地に連れて行ってください。友達を長く待たせたくないんです」や「ちょっと車酔い気味なので、スピードを落としてください」といった乗客の口頭指示を分析することで、このフレームワークは乗客のニーズを正確に理解し、それに応えることができます。人間と車両のあらゆる相互作用は記録され、システムの最適化に使用され、乗客の好みを学習して、将来的にさらにカスタマイズされた運転体験を提供できるようになります。

写真

さらに、実験結果によると、異なる運転スタイルのドライバーに異なる LLM を使用することで、Talk2Drive フレームワークを使用する自動運転車は実際の路上テストで良好なパフォーマンスを発揮し、ドライバーのさまざまな程度の難解なコマンドを理解し、人間による操作の必要性を効果的に減らし、さまざまな運転スタイルやシナリオに適応することができました。

この成果は、自動運転分野における大規模言語モデルの大きな可能性を示すだけでなく、自動運転技術の将来の発展に向けた新たな道を開くものでもあります。

写真

さまざまなタイプのドライバーの場合、Talk2Drive フレームワークを使用すると、運転中の引き継ぎ率を大幅に削減できます。

テクノロジーが進歩し、最適化されていくにつれて、Talk2Drive フレームワークは、自動運転車に、より安全で快適かつパーソナライズされた運転体験を提供できるようになります。この画期的な研究は、自動運転と人間とコンピュータの相互作用の統合と進歩を示すだけでなく、人間中心でよりインテリジェントな未来の交通時代の到来を告げるものでもあります。