LeCun は AGI を予測します: 大規模モデルと強化学習はどちらもランプです!私の「世界モデル」は新しい道です

現代の AI 界で最も有名な巨匠の一人であり、Meta の AI 研究所の魂である Yann LeCun 氏は、機械に世界の仕組みに関する基本的な理解を与えること、つまり AI に常識を与えることに長年尽力してきました。これまで、LeCun 氏はビデオ クリップを使用してニューラル ネットワークをトレーニングし、AI が日常の活動を映したビデオの次のフレームに何が表示されるかをピクセルごとに予測できるようにしてきました。当然のことながら、彼自身もこのアプローチが行き詰まったことを認めた。数か月から1年半考えた後、ルカン氏は次世代のAIに関する新たなアイデアを思いつきました。

AIへの新たな道

MITテクノロジーレビューとのインタビューで、ルカン氏は新たな研究の方向性を概説し、機械に世界を探索するための常識的な基盤を与えると述べた。 LeCun 氏にとって、これは AGI (人工汎用知能) の構築に向けた第一歩です。人間のように考えることができる機械は、AI 業界が誕生して以来、その指針となるビジョンであり、最も物議を醸す概念の 1 つでもあります。

しかし、ルカン氏の新たな道は完成には程遠く、答えよりも多くの疑問を生じさせているかもしれない。最大の疑問は、ルカン氏自身が、自分が説明するような AI の作成方法をまだ知らないと認めている点だ。このアプローチの中心となるのは、これまでとは異なる方法で現実世界を観察し、そこから学習できるニューラル ネットワークです。 LeCun 氏は最終的に、AI にビデオの次のフレームをピクセルごとに推測させることをあきらめ、タスクを完了するために必要な重要な知識だけを新しいニューラル ネットワークに学習させることにしました。

LeCun 氏はその後、このニューラル ネットワークを「コンフィギュレーター」と呼ばれる別のニューラル ネットワークと組み合わせる予定です。 「コンフィギュレーター」は、メインニューラルネットワークが学習する必要がある詳細を決定し、それに応じてメインシステムを自動的に調整する役割を担います。 LeCun 氏にとって、AGI は人間が将来のテクノロジーと関わる上で不可欠な要素です。もちろん、この考え方は、彼が全財産をかけてメタバースを開発している会社 Meta と一致しています。

ルカン氏は、10〜15年後にはARグラスが現在のスマートフォンの地位に取って代わるだろうと語った。 AR グラスには、人間の日常の活動を支援できる仮想インテリジェント アシスタントが搭載されている必要があります。これらのアシスタントが最も効果的であるためには、多かれ少なかれ人間の脳の知能に追いつく必要があります。

世界モデルはAGIの核心である

ルカン氏が最近注目している「世界モデル」とは、彼によれば、ほとんどの動物の脳の基本的な動作モード、つまり現実世界のシミュレーションを実行することである。動物は幼少期から推定と試行錯誤の方法を使って知能を発達させます。幼い子どもたちは、生後数か月の間に、現実世界の動きや変化を観察することで知性の基礎を身につけていきます。

小さなボールが何百回も落ちるのを観察することで、普通の赤ちゃんは、たとえ基礎物理学の授業を受けたことがなく、ニュートンの三法則を学んだことがなくても、重力の存在と作用について基本的な理解を持つことになります。したがって、このような直感的・暗黙的な推論は、一般の人々によって「常識」と呼ばれています。人間は常識を使って、現実世界のほとんどの可能性のある未来やあり得ない空想を理解し、自分の行動の結果を予見し、それに応じて決定を下します。このような人間の知能には、ピクセルレベルの精度も、物理パラメータの完全なライブラリも必要ありません。たとえ目が見えなかったり、読み書きができなかったりしても、その人は自分の知性によって正常に機能することができます。

しかし、機械に常識を教えることは困難です。現在のニューラル ネットワークでは、漠然としたパターンを検出し始めるまでに何千もの例を見せる必要がある。ルカン氏は、知性の基盤は近い将来を予測する常識的な能力であると述べた。しかし、AIにピクセル単位の予測を行わせることを諦めた後、ルカン氏は考え方を変えたいと語った。 LeCun 氏は、次のような例え話をしました。空中でペンを持ち、放したと想像してください。常識的に考えて、ペンは落ちるでしょうが、落ちる正確な場所は人間の予測の範囲を超えています。これまでの AI 開発モデルによれば、AI は複雑な物理モデルを実行して、ペンが落ちるかどうかを予測し、落下の正確な位置を見つける必要があります。

現在、LeCun 氏は、ペンが落ちるという常識的な結論のみを AI に予測させようと取り組んでおり、正確な位置は解決の範囲外です。ルカン氏は、これが「世界モデル」の基本的なパターンであると述べた。

LeCun 氏は、基本的な物体認識が可能な「世界モデル」の初期バージョンを構築しており、現在は常識的な予測ができるようにトレーニングを行っていると語る。

しかし、ルカン氏は、この点に関して「コンフィギュレーター」の機能をまだ理解していないと述べた。 LeCun 氏が想像した「コンフィギュレーター」AI は、AGI システム全体の制御要素です。これは、世界モデルがどの時点でどのような常識的な予測を行う必要があるかを決定し、そのために世界モデルが処理する必要がある詳細なデータを適応させます。 LeCun 氏は現在、「コンフィギュレータ」が不可欠であると固く信じていますが、この効果を達成するためにニューラル ネットワークをトレーニングする方法は知りません。

「実現可能な技術のリストを作成する必要がありますが、このリストはまだ存在していません。」 LeCun 氏のビジョンでは、「コンフィギュレーター」と「世界モデル」が将来の AGI 基本認知アーキテクチャの 2 つの中核部分です。この基盤に基づいてのみ、世界を認識するための認知モデル、AI に動作を調整させるインセンティブ モデルなどを開発できます。ルカン氏は、この方法でニューラルネットワークのあらゆる部分が人間の脳をうまくシミュレートできると述べた。例えば、「コンフィギュレータ」や「世界モデル」は前頭葉の役割を果たし、インセンティブモデルは AI の扁桃体などです。

さまざまな詳細レベルでの認知アーキテクチャと予測モデルは、長年にわたって業界で主流となってきました。しかし、AI業界でディープラーニングが主流になると、こうした古い考え方の多くは時代遅れになってしまいました。現在、ルカン氏は従来の常識を再考している。「AI研究コミュニティはこうしたことの多くを忘れてしまっている」

大規模モデルと強化学習はどちらも行き止まり

古い道に戻った理由は、業界の現在の主流の道は行き止まりに達したと LeCun 氏が固く信じているからです。現在、AI 業界では AGI の作成方法について 2 つの主流の見解があります。

まず、多くの研究者は、間違いにつながる道を固く信じています。OpenAIのGPTシリーズやDALL-Eシリーズのように、モデルは大きければ大きいほど良く、臨界点を超えるとAIは人間の知能を目覚めさせるでしょう。

2つ目は強化学習です。継続的な試行錯誤を行い、試行錯誤の結果に基づいて AI に報酬を与えたり罰を与えたりします。これは、DeepMind がさまざまなチェスやカードの AI、ゲーム AI を開発する際に採用しているアプローチです。このアプローチを信奉する人々は、報酬インセンティブが正しく設定されている限り、強化学習によって最終的に真の AGI が作成されると信じています。

ルカン氏は、出席した2人の人間はどちらもダメだと述べた。「既存の大規模言語モデルのサイズを無限に拡大することで、最終的に人間レベルのAIを実現できるとは一瞬たりとも信じていません。これらのモデルは、さまざまなテキストや画像データを単純に処理できるだけで、現実世界の直接的な経験はありません」「強化学習では、モデルを最も単純なタスクを実行できるようにトレーニングするために膨大な量のデータが必要です。この方法でAGIが生まれる可能性はないと思います」

業界関係者の間では、ルカン氏の見解に対して支持と反対の両方の意見がある。 LeCun 氏のビジョンが実現すれば、AI はインターネットに劣らず重要な次世代の基本的な高性能テクノロジーとなるでしょう。しかし、彼の主張には、彼自身のモデルのパフォーマンス、インセンティブメカニズム、制御メカニズムなどは含まれていません。しかし、これらの欠陥は些細な問題である。賞賛や批判に関係なく、業界関係者は全員一致で、これらの欠点に直面するのはまだ先のことだと考えているからだ。なぜなら、LeCun でさえ今のところ AGI を作成できないからです。

ルカン自身もこの状況を認めており、新しい理論的道筋の種を蒔き、後の世代がこれに基づいて成果を生み出せるようにしたいだけだと語った。 「この目標を達成するには、あまりにも多くの人々の多大な努力が必要です。私が今このことを取り上げているのは、これが正しい道だと考えているからです。」たとえそれができなくても、ルカン氏は仲間たちに、大きなモデルや強化学習に焦点を合わせるだけでなく、心を開くよう説得したいと考えています。 「人々が時間を無駄にしているのを見るのは嫌だ。」

業界の反応：賛否両論

ルカン氏と良好な関係にあるもう一人の AI リーダー、ヨシュア・ベンジオ氏は、古い友人が夢を実現するのを見て喜びを表明した。 「ヤンはしばらくこのことについて話していると言っていましたが、彼がすべてのアイデアを 1 か所にまとめてくれたことを嬉しく思います。ただし、これは結果レポートではなく、研究の方向性を示すアプリケーションにすぎません。通常、人々はこれを非公開で共有するだけであり、公に話すのは非常に危険です。」

ディープマインドでゲームAI「アルファゼロ」の開発を率いたデビッド・シルバー氏は、ルカン氏のプロジェクトに対する批判には同意しなかったが、同氏のビジョンは歓迎した。

「ルカン氏が説明する世界モデルは、刺激的な新しいアイデアです」と、カリフォルニア州サンタフェ研究所のメラニー・ミッチェル氏は言う。「ディープラーニングのコミュニティでは、あまり見かけるものではありません。しかし、大規模な言語モデルには、メモリと、それを制御できる内部世界モデルのバックボーンの両方が欠けています。」

Google Brain の Natasha Jaques 氏はこれに反対している。「大規模な言語モデルは極めて効率的で、多くの人間の知識と融合していることがわかっています。言語モデルがなければ、LeCun 氏が提案した世界モデルをどうやってアップグレードできるでしょうか。人間が学習するとしても、その方法は個人的な経験だけでなく、口コミにも左右されます。」