2000億回のオープン学習を経て、DeepMindのAIはさらに洗練されてきた

[[415688]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

これまでに見たことのないゲームタスクで簡単に目標を達成することを学習したインテリジェントエージェントのグループが存在します。

例えば、下のような高台に直面した場合、上にある紫色のピラミッドに到達する必要があります。

[[415689]]

ジャンプする機能がなく、不安そうに物を投げ回しているようです。実際、ボードの 1 つが階段に「投げ込まれ」ていました。なんと偶然でしょう。目標は達成されました。

[[415690]]

これは単に盲目の猫が死んだネズミを捕まえるだけの例だと言う人もいるかもしれませんが、複数の実験により、エージェントがこの方法を再現できることが証明されました。

[[415691]]

そして、方法は複数あります。「私が上がらないなら、あなたが降りてください」 - ボードを使ってターゲットを直接下に引っ張るだけです。

[[415692]]

これでいいですか？

これらの洗練されたインテリジェントエージェントは DeepMind から提供されています。

現在、AI の汎用性を高め、1 つのインスタンスから推論を導き出せるようにするために、数十億のゲーム タスクを含むインテリジェント エージェント専用の「メタバース」XLand が作成されました。これにより、インテリジェント エージェントは、拡大とアップグレードが続くオープン ワールドで数億回のトレーニング セッションを通じて、優れた一般化機能を開発できるようになります。

最終結果は上で見た通りで、新しいゲームでゼロからトレーニングする必要なく、自律的にタスクを解決できるようになります。

DeepMind もこれについて、「オープン ラーニングによる汎用知能」と題した論文を発表しました。

これはどうやって行うのですか?

XLランド

最も重要な貢献の 1 つは、この巨大な「メタバース」シミュレーション空間です。

これは無数の「ゲーム惑星」を持つ「ゲーム銀河」です。各惑星のゲームは、競争性、バランス、オプション、探索の難易度の 4 つの次元によって区別されます。

たとえば、画像の左上隅に示されている「Cube Grabbing」ゲームでは、青いエージェントは黄色のキューブを白い領域に入れる必要があり、赤いエージェントは同じキューブを青い領域に入れる必要があります。

考えただけでも頭が痛くなるほど、このゲームの競争性は最大限に高められており、双方の条件・目標が同じなのでバランス値も非常に高く、目標エリアを見つける必要があるため、探索の難易度は小さくありません。

もう 1 つの例は、画像の右上隅にある「球体と立方体のペアリング」です。青/赤のエージェントは、幾何学的なオブジェクトを色ごとにグループ化し、ペアリングを完了する必要があります。このゲームには多くのオプションがありますが、競争力はそれほど強くありません。

ps. 青いゲームは完全に競争的なゲームを表し、ピンクのゲームは完全に協力的なゲームを表します。

ゲーム タスクに関係なく、このエージェント グループは最も単純なタスク (「紫色のキューブに近づく」など) から開始し、徐々に複雑さが増すゲーム (別のエージェントとの「かくれんぼ」など) のロックを解除します。各ゲームには報酬があり、エージェントの目標は報酬を最大化することです。

インテリジェントな「プレーヤー」は、ターゲットのテキスト説明を読み、RGB 画像を観察することで周囲の環境を認識し、タスクを完了します。

生成される新しいタスクは古いタスクに基づいており、難易度はちょうど良いものでなければなりません。

上記のオープンな学習環境に加えて、トレーニング方法も非常に重要です。

研究者が使用するニューラル ネットワーク トレーニング アーキテクチャは、エージェントの内部反復状態に対する注意メカニズムを提供し、プレイ中のゲームのサブ目標を推定することでエージェントの注意を継続的に誘導します。

この戦略により、エージェントはより一般的な戦略を学習できるようになります。

もう一つの疑問があります。このような広大なゲーム環境では、どのようなゲームタスクの分散が最も一般化可能なエージェントを生み出すことができるのでしょうか?

研究者たちは、各エージェントのゲーム配分を継続的に調整することで、新しいタスクはそれぞれ完了した古いタスクに基づいて生成される必要があり、難しすぎたり簡単すぎたりしてはいけないことを発見しました。

これは基本的に一般的な認識と一致しています。

彼らはまず 4 つの反復を経ました:

各タスクは複数のエージェントによって競合されます。古いタスクにうまく適応したエージェントは、重み、瞬間的なタスク分散、ハイパーパラメータなどを使用して新しいラウンドのタスクに参加し、学習を継続します。競争を「活発化」させるために、この時点で新しいエージェントも追加されます。

エージェントは明確なゼロショット学習能力を発揮する

最終的に生成された第 5 世代のエージェントは、XLand の 4,000 を超える「惑星」で約 70 万回のゲームをプレイしました。各エージェントは 2,000 億回のトレーニングを受け、340 万の固有のタスクを完了しました。

この時までに、エージェントはすべての評価タスクを正常に完了することができました (人間にとっても不可能ないくつかのタスクを除く)。

実験全体を通して、XLand のような環境やオープンなトレーニング方法を開発することで、一部の RL ベースのエージェントが明らかなゼロショット学習能力を示したことも最終的に示されています。

例としては、道具の使用、囲い、かくれんぼ、立方体探し、数え上げ、協力や競争などが挙げられます。

研究者らはまた、エージェントは新しいタスクに直面したときに「最善の解決策は何か」を知らなかったが、目標を達成するまで実験を続けたことも観察した。

冒頭で述べたラダー構築に加えて、より単純な目標を一時的に置き換える次のような例もあります。

ゲームでは、エージェントは達成すべき 3 つの目標のうち 1 つを選択する必要があります。

1. 黒いピラミッドを黄色い球の隣に置きます。

2. 紫色の球を黄色のピラミッドの隣に置きます。

3. 黒いピラミッドをオレンジ色の領域に配置します。

最初は黒いピラミッドを見つけて目標 3 を達成しようとしましたが、輸送中に黄色い球体を見つけたため、1 秒以内に考えを変えて、ピラミッドを黄色い球体のすぐ隣に置いて目標 1 を達成することを選択しました。 （全体のプロセスには6秒かかります）

[[415693]]

最後に、DeepMind の研究を読んだ後、もう 1 つ質問したいことがあります。真の汎用人工知能から私たちはどれくらい離れているのでしょうか?

(追伸: 記事の冒頭のピラミッドミッションのレッド リタードが下手なことに気付きましたか? レッド リタードは回転し続け、ブルーが構築したはしごを破壊します)

論文の宛先:

https://arxiv.org/abs/2107.12808