ロボットに25分で6つの動作を学習させるトレーニング、バークレーは効率的なロボット操作フレームワークを開発

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

このロボットアームは、手を伸ばす、取る、動かす、押す、クリックする、開くという 6 つの動作を実行します。

さらに、彼の動きは巧みで、ミスはなかった。

さらに驚くべきことは、このロボットアームのトレーニングにたった25 分しかかからなかったことです。

人間の介入があっても、掴む動作を正常に完了できます。

これまで見たことのない物体の形も捉えることができます。

これは、カリフォルニア大学バークレー校の「効率的ロボット操作フレームワーク (FERM)」による新しい研究であり、ロボットアームの効率的な操作のためのアルゴリズムをトレーニングするために特別に設計されています。

FERM が他の方法よりも効率的なのはなぜですか?

現在、ロボットトレーニング用のほとんどの RL アルゴリズムはあまり効率的ではありません。

スパース報酬法を使用して、Dota 5 ゲームの人間と機械の操作を熟練した人間プレイヤーのレベルまでトレーニングするには、ゲーム時間で 180 年かかります。

ロボットアームのジェスチャーをトレーニングするには、数千万のシミュレーション学習サンプルと 2 週間のトレーニング時間が必要です。

Sim2RealとSimulation Learning の方が若干優れています。 Sim2Real はシミュレーショントレーニングを受け、その後トレーニング結果を実際のケースに適用する必要があります。

シミュレーション学習では、最終的なトレーニング戦略を考案するために、一連の専門的なトレーニングデモンストレーションケースと教師あり学習が必要です。実験結果は、入力デモンストレーションケースの品質に大きく依存します。

FERM の利点は、シミュレーション トレーニングを現実に変換する必要がなく、入力デモンストレーション ケースの品質に大きく依存しないことです。

代わりに、教師なし表現学習とデータ拡張技術に基づくピクセルベースの RLを使用します。

したがって、ロボットが 6 つのアクションを学習するには、10 回のデモと 25 分のトレーニング時間しかかかりません。

FERM を具体的にトレーニングするにはどうすればいいですか?

FERM はピクセルベースの強化学習 (ピクセルベース RL)アプローチを使用します。

具体的には、まず少量のデモンストレーション データが収集され、「再生バッファ」に保存されます。

次に、観察結果を使用して、対照損失を使用してエンコーダーを事前トレーニングします。

次に、エンコーダーと「リプレイ バッファ」はオフライン データを使用して RL アルゴリズムを強化し、RL エージェントをトレーニングします。

論文の中で、研究者らは FERM の主な利点を次のようにまとめています。

1.高効率: FERM は 6 つの異なる運用タスクの最適な戦略を学習し、15 ～ 50 分のトレーニング時間内に各タスクを完了できます。

2.シンプルな統合フレームワーク: このフレームワークは、既存のコンポーネントを組み合わせて、教師なし事前トレーニングとオンライン RL をデータ拡張とともに 1 つの効率的なフレームワークに統合します。

3.従来の軽量セットアップ: 実装には、ロボット、GPU、2 台のカメラ、いくつかのデモンストレーション、スパース報酬関数などのみが必要です。

具体的な実験結果は何ですか?

実験結果

この実験では、ピクセル単位のアプローチを使用して一連のタスクを実行しました。下の図の各列には、初期、中間、結果の 3 つの状態が表示されます。ロボットがタスクを完了した場合にのみ、まばらな報酬を受け取ります。

このトレーニング アルゴリズムの効率は非常に高いです。具体的な完了時間は下表の通りで、約30分でロボットは操作タスクを学習できます。シンプルな「リーチ」動作には、わずか3 分しかかかりません。

実験結果によると、多くのデモや大量の機器は必要なく、初めてタスクを完了するまでの平均時間は 11 分で、25 分以内に 6 つの機械的動作をトレーニングできます。

そこで研究者たちは誇らしげにこう言う。

「私たちの知る限り、FERM は、スパース報酬アプローチを使用して 1 時間以内に多様なグループからピクセル単位で直接実行できる初の機械操作タスクです。」

関連レポートによると、製造業では今後10年間で460万人の雇用が必要になるという。多くの製造業者も自動化生産に移行しており、機械による自動化の割合はますます高くなるでしょう。 FERM のような効率的なトレーニング フレームワークは、製造業界にとって大きな恩恵となります。