DeepMindは、あらゆる武器を持つロボットを簡単に倒すことができる視覚ベースの強化学習モデルを提案している。

人間は模倣が得意です。私たちや他の動物は、行動を観察し、それが環境の状態に与える影響を理解し、同じような結果を得るために私たちの体がどのような行動をとれるかを考え出すことで模倣します。

模倣学習はロボットの学習タスクにとって強力なツールです。しかし、このような環境認識タスクでは、強化学習を使用して報酬関数を指定することは困難です。

DeepMind の最新の論文は、主に、動作状態に依存せずに、三人称の視覚のみから操作の軌跡を模倣する可能性について探究しています。チームは、視覚的に示した複雑な動作を模倣するロボットマニピュレーターからインスピレーションを得ました。

DeepMind が提案する方法は、主に 2 つの段階に分かれています。

1. マニピュレータに依存しない表現（MIR）を提案する。つまり、ロボット、人間の手、その他の機器のいずれであっても、この表現が後続のタスクの学習に使用できることを保証する。

2. 強化学習を使用して行動戦略を学習する

演算子に依存しない表現

ドメイン適応性問題は、ロボットシミュレーションの現実において最も重要な問題であり、つまり、視覚シミュレーションと現実の違いを解決することです。

1. 様々なタイプのオペレータと様々なシミュレーション環境をランダムに使用して現実世界をシミュレートする

2. 手術アームの追加および除去後の観察

3. Temporally-Smooth Contrastive Networks (TSCN) は、TCN と比較して、ソフトマックスクロスエントロピー目的関数に分布係数 p を追加し、特にクロスドメインの場合に学習プロセスをよりスムーズにします。

強化学習の使用

MIR 表現空間の要件は実行可能であり、強化学習に使用して特定のアクションとして表現できます。

1 つの解決策は、目標条件付けを使用してポリシーをトレーニングすることです。入力は現在の状態 o と目標状態 g になります。この記事では、現在の状態 o とクロスドメインのターゲット状態 o' を入力して、目標に到達するためのアクションの数を最小限に抑える拡張アプローチであるクロスドメイン目標条件付きポリシーを提案します。

データと実験

研究チームは、8 つの環境とシナリオ (標準シミュレーション、目に見えないアーム、ランダム アーム、ランダム フィールド、Jaco ハンド、実際のロボット、杖、人間の手) で実験を行い、未知のマニピュレータによる制約のない操作軌跡のシミュレーションのパフォーマンスを評価しました。

また、単純な目標条件付きポリシー (GCP) や時間距離などのいくつかのベースライン手法も使用しました。

MIR は、テストされたすべての領域で最高のパフォーマンスを実現します。重ね合わせの成功率に関しては大幅に優れたパフォーマンスを発揮し、シミュレートされた Jaco Hand と Invisible Arm を 100% のスコアでうまく模倣します。

この研究は、視覚模倣における視覚模倣表現の重要性を実証し、視覚模倣における操作に依存しない表現の適用が成功することを検証します。

将来の工場のロボットはより強力な学習能力を備え、特定のツールや特定のタスクに限定されなくなります。