李菲菲のチームはロボット用の「模擬キッチン」を作った。洗浄、カット、調理のワンストップトレーニングである。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

Fei-Fei Li チームのロボット シミュレーション トレーニング グラウンドのバージョン 2.0 が登場しました。

8,000 以上のインタラクティブシーンを備えたシミュレーション環境 iGibson がさらに進化しました。

進化したiGibson 2.0の核心は、たった 1 つの文です。

ロボットたちよ、ボールキャッチをやめて家事をしなさい！

たとえば、シミュレーション環境における温度、湿度、スライスなどの物理的条件が追加されるため、ロボットは洗浄、切断、調理のワンストップ サービスを提供する必要があります。

そして表面の色が変わるのが、本格的な調理です。

調理後はカウンターの汚れを拭き取り、テーブルを片付けることができます。

使わなかった野菜を冷蔵庫に戻して「凍る」のを観察します。

人間はVRを通じてシミュレートされた環境に入り、ロボットに標準的な家事のやり方を教えることもできます。

それでは、今回のバージョンアップの具体的な内容を見ていきましょう。

5つの新しい物理状態を追加しました

さて、ロボット プレイヤーはシミュレーション環境に入り、食事を作り始めます。

この料理は、iGibson 2.0 拡張の 5 つの新しい物理状態を使用します。

湿気

まず野菜を洗います。

野菜を洗うのに使用する水は、流体シミュレーション システムから供給されます。

下のシンクの蛇口を見てみましょう。

蛇口は飛沫の発生源として機能し、飛沫を発生させ、それが他の容器（皿）に集まったり、浸水可能な物体（タオル）に吸収されたりします。

iGibson 2.0 では、物体に吸収される水滴の量が物体の濡れ具合に対応します。

切断

洗った後、野菜を切り始めます。

しかし、ここで問題が発生します。

一般的に、シミュレーション環境内のオブジェクトは、固定されたノードと三角形の面を持つ 3 次元構造であると想定されており、「切断」という動作を実現するのは容易ではありません。

iGibson 2.0 は、スライス状態を更新し、オブジェクト インスタンスの拡張状態を維持することで、カット アクションを完了します。

スライス ツールを押したまま、オブジェクトのスライス フォースしきい値を超える力を適用すると、スライス状態は「True」に変わります。

この時点で、シミュレーターは 1 つのオブジェクトを 2 つのオブジェクトに置き換えます。

「カットされたオブジェクト」の 2 つの半分は、オブジェクト全体の拡張されたオブジェクト状態 (温度など) を継承します。

この変換は不可逆的であり、オブジェクトはその後のシミュレーション時間中、このスライスされた状態のままになります。

温度

さて、この電子レンジを使って魚を揚げてみましょう。

温度が自然に変化できるように、iGibson 2.0 は WordNet 階層内のオブジェクト カテゴリを熱源として注釈付けします。

これは iGibson 2.0 の新しい規定です:

つまり、シミュレートされた各オブジェクトは、WordNet 内の既存のオブジェクト クラスのインスタンスである必要があります。

このセマンティック構造により、同じカテゴリのすべてのインスタンスに機能をリンクできます。

さて、この熱源を使って他の物体の温度を変えてみたいと思います。

本物の電子レンジと同じように、手で電源を入れると加熱対象物が加熱され始めます。

具体的な温度は次のように変化します。

△∆sim: シミュレーション時間 r: 熱源変化率

また、各オブジェクトが過去に到達した最高気温の履歴値も保持されます。

たとえば、上の写真の魚は、過去に調理または燃焼温度に達したことがあります。

そのため、熱源をオフにした後でも、焦げたような外観になります。

つまり、シミュレーションで燃えた場合は、実際に燃えることになります。

清潔さ

つまり、清潔度とは、ほこりや汚れの程度を指します。

iGibson 2.0 では、オブジェクトをほこりや汚れの粒子で初期化し、オブジェクトの清潔度を変更するアクションを実行できます。

したがって、食器を洗った後、ロボットは布でほこりの粒子を拭き取ることを選択できます。

または、濡れた道具（スクラバー）を使って汚れを落とします。

状態切り替え

iGibson 2.0 では、一部のオブジェクトに、内部状態と外観の変更を維持しながら、「オン」状態と「オフ」状態を切り替える機能が提供されます。

この状態の切り替えは、仮想固定リンク TogglingLink をタッチすることによって行われます。

たとえば、下のオーブンは「オン」のときに外観が変わります (右)。

結局、ロボットは機器の電源をオフにして、タスクを正常に完了しました。

このような安定した、現実的で便利なシミュレーション環境は、当然、ロボットがますます複雑なタスクのトレーニングを実行できることを意味します。

論理述語に基づく生成システム

上記の新しい物理的状態と組み合わせることで、屋内環境における一連の基本的な活動をシミュレートするのに十分です。

しかし、日常生活で自然言語を使ってこれらの状態を説明すると、うーん...

重慶の人々の味が部外者にとって「少し辛い」ように、個人の理解にも意味の違いがあるに違いありません。

したがって、iGibson 2.0 では、一般的な自然言語に基づいた論理述語のセットを定義します。

この論理述語のセットは、拡張されたオブジェクトの状態をオブジェクトの論理状態にマッピングし、オブジェクトの状態を記号的に記述します。

異なる論理述語に基づいて、有効なオブジェクトを異なる方法でサンプリングします。

たとえば、オブジェクトの拡張状態に基づく Frozen などの述語の場合、述語の要件を満たす拡張状態値がサンプリングされます。

OnTopOf などの運動学的述語の場合は、オブジェクトが静的な物理状態にあることを確認するために、レイ キャスティング、分析方法、およびその他のメカニズムを組み合わせる必要があります。

次に、論理述語に基づく生成システムがあります。

このシステムでは、論理述語のリストを指定するだけで、シミュレーション シナリオをより迅速かつ簡単に生成できます。

VRはロボットが人間と同じことを学習できるようにする

さて、ロボットの訓練を行う会場が整いました。

私たちの最終的な目標は、トレーニングを通じてロボットがますます複雑なタスクを完了できるようにすることです。

では、ロボットは人間の行動を観察し、新しい解決策を開発するために使用できるのでしょうか?

そのため、iGibson 2.0 では VR が導入され、人間がロボットのトレーニング現場に参加できるようになりました。

チームは、被写体を制御するためのトラッカーを追加し、OpenVR を通じて市場の主要な VR ヘッドセットと互換性のあるシステムを構築しました。

iGibson の PBR レンダリング機能により、システムは、アバターの頭部視点から生成されたステレオ画像を最大 90 フレーム/秒の速度で受信します。

VR 環境で人間がタスクを完了するプロセスを追跡することで、研究者は長期にわたる複雑な二重手動モバイル操作タスクのデモンストレーション データをより簡単に収集できます。

もちろん、ボールをキャッチするという古典的なタスクを忘れることはできません。

より自然なクロール体験を提供するために、チームはアシストクロール (AG) メカニズムを実装しました。

ユーザーが把持しきい値 (50% の動作) を通過すると、オブジェクトが指と手のひらの間にある限り、手のひらとターゲット オブジェクトの間に追加の制約が形成されます。

お母さんはロボットがボールをキャッチできないことを心配する必要がなくなりました

最後に、フェイフェイ・リーのチームも次のように述べた。

iGibson は、大規模なシーンインタラクションタスクのための完全にオープンソースのシミュレーション環境です。

iGibson 2.0 がコミュニティにとって有用なツールとなり、さまざまなタスクのシミュレーション環境を作成する負担を軽減し、具体化された AI 研究のためのソリューションの開発を促進することを願っています。

ダウンロードアドレス:
https://github.com/StanfordVL/iGibson

論文の宛先:
https://arxiv.org/abs/2108.03272

公式サイト:
スタンフォード大学