機械に記憶を与える: DeepMind の主要研究は柔軟な重み統合アルゴリズムを提案

世界で最も注目されている人工知能研究機関のひとつである Google DeepMind は、常に私たちに驚きをもたらしてくれます。昨年の公式概要で、DeepMindは「2016年、私たちの研究のもう一つの重要な分野は記憶であり、特にニューラルネットワークの意思決定インテリジェンスと複雑な構造化データの保存および推論機能を組み合わせるという難しい問題でした」と指摘しました。

最近、DeepMind は新しい研究 (この方法は以前提案された PathNet とは異なります) を発表し、ニューラル ネットワークの継続的な学習を実現し、コンピューター プログラムが以前に学習した内容を記憶し、新しいコンテンツを段階的に学習できるようになったと主張しています。この論文では、生物学とシナプス弾性理論を組み合わせ、シナプスが重みだけでなくこの重みの不確実性も保存するという理論について議論します。この研究は広く注目を集めています。たとえば、ブルームバーグは、この研究が「さまざまなタスクに簡単に適用できる人工知能システムの新しい道を開く可能性がある。また、タスク間で知識を転送し、一連の相互接続されたステップを習得する人工知能システムの能力も向上するはずだ」と報じました。Machine Heart では、この研究に関連する DeepMind の公式ブログ投稿と論文の概要を紹介しています。

論文アドレス: http://www.pnas.org/content/early/2017/03/13/1611835114.full.pdf

タスクを実行することを学習したコンピュータ プログラムは、多くの場合、そのタスクをすぐに忘れてしまいます。私たちの研究によると、プログラムが新しいタスクを学習しながら古いタスクを記憶するように学習ルールを変更することが可能だということが分かりました。これは、段階的かつ適応的に学習できる、よりスマートなマシンに向けた重要なステップです。

ディープニューラルネットワークは現在最も成功している機械学習技術であり、言語翻訳、画像分類、画像生成などのさまざまなタスクを解決するために使用できます。しかし、通常、データが一度に提示された場合にのみ、さまざまなタスクを学習できます。ネットワークが特定のタスクでトレーニングされると、そのパラメータは徐々にそのタスクを解決するために適応していきます。新しいタスクが導入されると、新しい適応プロセスによって、ネットワークが以前に獲得した知識が書き換えられます。この現象は認知科学では「破滅的な忘却」として知られており、ニューラル ネットワークの根本的な限界の 1 つと考えられています。

対照的に、私たちの脳は違った働きをします。私たちは段階的に学習し、一度に 1 つのスキルを学習し、新しいタスクを学習するときに以前に習得した知識を適用することができます。これは、PNAS に最近掲載された私たちの論文「ニューラル ネットワークにおける壊滅的な忘却の克服」の出発点でもあります。本論文では、ニューラル ネットワークにおける壊滅的な忘却を克服する方法を提案します。私たちは、哺乳類や人間の脳が以前に学習したスキルや記憶をどのように統合するかについての理論を含む神経科学からインスピレーションを得ました。

神経科学者は、脳内の統合にはシステム統合とシナプス統合という 2 つのタイプがあることを確認しました。システム統合とは、脳の高速学習部分ですでに獲得した記憶を、低速学習部分に刻印するプロセスを指します。この刻印のプロセスは、意識的または無意識的な記憶を通じて発生すると考えられています。たとえば、夢の中で発生することがあります。 2 番目のメカニズムであるシナプスの統合は、以前に学習したタスクで一部のシナプス接続が重要である場合、それらの接続が書き換えられる可能性が低くなることを意味します。具体的には、私たちのアルゴリズムはこのメカニズムからヒントを得て、壊滅的な忘却に対処します。

ニューラル ネットワークは、脳内の接続とほぼ同様の多数の接続で構成されています。タスクを学習した後、そのタスクの各接続の重要度を計算します。新しいタスクを学習するとき、古いタスクに対する重要度に応じて接続を修正します。これにより、以前のタスクで学習した内容を変更せずに新しいタスクを学習することができ、大きな計算コストは​​発生しません。各接続に適用する保護は、スプリングを介して前の保護値にリンクされており、その剛性は接続の重要度に比例していると考えることができます。このため、私たちはこのアルゴリズムを「Elastic Weight Consolidation (EWC)」と呼んでいます。

DeepMind の新しい AI プログラムは、2 つのタスクを同時に処理することを学習します

アルゴリズムをテストするために、エージェントを一連の Atari ゲームに公開します。スコアだけに基づいて 1 つのゲームをマスターするのは十分に困難ですが、各ゲームには個別の戦略が必要になるため、複数のゲームを連続してマスターするのはさらに困難です。下のグラフが示すように、EWC がない場合、エージェントはゲームを停止するとすぐに各ゲームを忘れてしまいます (青)。これは、平均すると、エージェントがどのゲームもほとんどマスターしていないことを意味します。しかし、EWC（茶色と赤）を使用すると、エージェントはゲームを簡単に忘れず、複数のゲームを次々にマスターできるようになります。

現在、コンピュータ プログラムはデータからリアルタイムで適応的に学習することはできません。しかし、私たちは、壊滅的な忘却がニューラル ネットワークにとって克服できない課題ではないことを示しました。また、この研究がより柔軟かつ自動化された方法で学習できるプログラムへの一歩となることを期待しています。

私たちの研究は、脳内でシナプスの統合がどのように形成されるかについての理解も深めます。実際、私たちの研究の根底にある神経科学理論は、これまで非常に単純な例でしか実証されていません。同じ理論がより現実的で複雑な機械学習の設定にも当てはまることを示すことにより、シナプスの統合が記憶と方法の保持の鍵となるという考え方にさらに重みを与えることを期待しています。

論文: ニューラルネットワークにおける壊滅的な忘却の克服

(ニューラルネットワークにおける壊滅的な忘却を克服する)

まとめ

タスクを順番に学習する能力は、人工知能の開発にとって非常に重要です。これまで、ニューラル ネットワークにはこの機能がなく、壊滅的な忘却はコネクショニスト モデルの避けられない特徴であると広く信じられてきました。私たちの研究は、この制限を克服し、経験したことのないタスクに対して長期間にわたって専門知識を維持できるネットワークをトレーニングすることが可能なことを示しています。私たちの方法は、これらのタスクにとって重要な重みの学習速度を選択的に遅くすることができます。手書き数字データセットで一連の分類タスクを解決し、複数の Atari 2600 ゲームを順次学習することで、私たちのアプローチがスケーラブルで効果的であることを示します。

元記事: https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/

[この記事は、51CTOコラムニストのMachine Heart、WeChatパブリックアカウント「Machine Heart（id:almosthuman2014）」によるオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください