ディープラーニングは廃れつつあるのでしょうか?ベンジオ氏と他の専門家がNeurlPS2019でアドバイスを行う

状況はますます明らかになりつつあります。

AIが直面している課題は、計算能力を高めたり、より多くのデータを生成したりするだけでは解決できません。

NeurlPS 2019では、多くの専門家がAIの将来について議論し、ディープラーニングアルゴリズムのボトルネックがすでに現れていると考えていました。

ディープラーニングの手法は進化できると考える人もいれば、新しい手法が登場すると期待する人もいます。

似ているのは、専門家が自然の知性からインスピレーションを得ようと、生物に注目している点です。

ディープラーニングの限界

Google の Aguera y Arcas 氏は次のように語っています。

私たちはバスに乗る犬のようなものだ

同氏は、ディープラーニングはAIにおける長年の課題のいくつかを解決したが、現時点では解決できない課題がまだ多く残っていると述べた。

AI を使って潜在的な従業員を評価するなど、推論や社会的知能に関わる問題は、依然として解決不可能なままです。

そして現在、すべてのモデルはテストに合格するか、採点される競争に勝つことだけを目的としてトレーニングされています。しかし、人間の知能は単なる規則的なパターン以上のものを実現できます。

ディープラーニングの三大巨頭の一人であり、チューリング賞を受賞したヨシュア・ベンジオ氏は、 Spectrum とのインタビューで次のように語った。

現在のディープラーニングは、2歳児のIQには到達できません。タスクを完了するには大量のデータが必要であり、多くの愚かなミスを犯します。

企業の実装の観点から、技術実装に関する予測も慎重になってきた。

自動運転タクシーの実現に関するグーグルの予測は、当初の楽観的なものから抑制的なものへと変化した。

FacebookのAI担当副社長ジェローム・ペセンティ氏は最近、同社や他社は、より多くの計算能力とデータを備えたより大規模なディープラーニングシステムを開発するだけでは、AIの進歩を続けることは期待できないと語った。

イノベーションへの呼びかけ

この状況に直面して、人々は独自の提案を出しました。

アルカス氏とベンジオ氏はともに、参加者が自然知能の生物学的根源について考えることを期待している。

アルカス氏は細菌をシミュレートする実験を実演した。これらのバクテリアは、餌を探したりコミュニケーションをとったりするための人工的な方法を進化させてきました。

Yoshua Bengio 氏は、ディープラーニングのアプローチが効果的であると信じており、ツールボックスにさらに多くのものを追加しています。

同氏はカンファレンスで「ディープラーニングシステム1からディープラーニングシステム2へ」と題した講演を行い、ソフトアテンションと深層強化学習の手法が推論、計画、因果関係の把握といった問題の解決に役立つと提唱した。

彼の新しいアプローチは自然の知能にインスピレーションを得たものです。意識の事前条件に基づいて関連する仮定を行うと、多くの高レベルの依存関係をスパース因子グラフで近似的に捉えることができます。ソフトアテンションメカニズムは、一度にいくつかの概念に計算を集中させることができる重要な要素を構成します（「意識的な思考」）。

モントリオール大学の准教授イリーナ・リッシュ氏は、新たなアイデアが生まれることを期待している。

ディープラーニングは素晴らしいですが、別のツールボックスが必要です。

彼は、2006 年に開催された非公式のディープラーニング ワークショップを思い出す。そのワークショップは、主催者が異端の技術的アイデアを拒否した「宗教的な集会」に例えられた。

今年のカンファレンスではディープラーニングが主流だが、彼は自身の講演が新たなアイデアの出現を後押しすることを期待している。

メタ学習

新たな解決策についても議論された。

Uberの研究者ジェフ・クルーネ氏は来年Open AIに参加する予定だと語った。彼はまた、新興分野であるメタ学習のメンバーでもあります。この分野では、AI が独自の学習アルゴリズムを設計できるようになることを期待しています。

彼はスピーチの中で、オープン開発者と組み合わせたPOETを紹介し、AI が自己進化を習得してより賢くなることを可能にすると述べました。このアプローチのインスピレーションの 1 つは、自然の進化です。彼は、一対の足がより複雑な地形の上を歩くことを自動的に学習するアニメーションの例を示しました。

シーンの多様性と複雑さは自動的に増加します

最終的には、自分で階段を降りることを学ぶことができます。

AIの発展がどのようにして次のブレークスルーを達成するのか考えたことはありますか？