ディープラーニングをめぐる激しい議論：ルカン氏は大きな動きを見せ、マーカス氏は厳しい発言をした

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

AI学術界でまたもや論争が始まった。チューリング賞受賞者、70歳近い機械学習の創始者、AI悲観論者の代表者などがそろって「論争を始める」ために出てきている。

関連する話題はツイッター上で千回以上転送され、数万件の「いいね！」を獲得するなど、現場は緊張を極めていた。

この質問の起源は、「ディープラーニングとは何ですか?」という魂を問う質問にあります。

ディープラーニングとは何ですか?

次のようなおなじみの定義を自然に思い浮かべるかもしれません。

ディープラーニング (DL) は、複数のレイヤーを使用して生データから段階的に高レベルの特徴を抽出する機械学習アルゴリズムの一種です。

— ウィキペディア

ちょっと混乱しましたか？

現在、この動きを起こしたのはディープラーニングの三大巨頭の一人であり、チューリング賞受賞者のヤン・ルカン氏に他ならないという、より明確な声明を出した人がいます。彼はこう言った。

ディープラーニングが何であるかについてまだ混乱している人もいるようです。ディープラーニングの定義は次のとおりです。ディープラーニングとは、パラメータ化された機能モジュールで構成されたネットワークを構築し、サンプルのトレーニングに勾配ベースの最適化手法を使用することです。

この定義と直交するのが、強化学習、教師あり学習、自己教師あり学習などの学習パラダイムです。本当に言いたいことが「教師あり学習ではデータが多すぎるため、X は実行できない」である場合は、「ディープラーニングでは X は実行できない」とは言わないでください。

拡張形式（動的ネットワーク、微分可能プログラミング、グラフニューラルネットワークなど）では、ネットワーク構造はデータに応じて動的に変化します。

彼は言葉を終えることなく、一気に5つの文章を並列して発表し、現在のディープラーニングの分野で登場した「用語」を解釈した。

「DL は敵対的サンプルに敏感です」とは言わないでください。実際に意味しているのは、「教師あり畳み込みニューラル ネットワークは敵対的サンプルに敏感です」ということです。

「純粋な教師あり学習はトレーニング データのバイアスを再現する」ということを本当に意味しているのに、「DL はバイアスがある」と言わないでください。

実際に意味しているのは「この特定のアーキテクチャは、これまで見たことのない多くのパーツの組み合わせに一般化されない」ということなのに、「DL は構成性を処理できない」と言わないでください。

「DL は論理的推論を行えない」とは言わないでください。本当に意味しているのは、「単純なフィードフォワード ニューラル ネットワークは長い推論チェーンを行えない」ということです。

「通常の教師ありニューラル ネットワークは因果関係を自発的に発見しない」ということを本当に意味しているのに、「DL は因果推論を行わない」と言わないでください。

もともと、これは私が昨年初めに提唱した「ディープラーニングはもはや人気の概念ではない」という見解に対する反応でした。

しかし、このツイートが公開されると、さまざまな専門家が意見を述べ、白熱した議論が巻き起こるとは誰が想像したでしょうか。

大規模な「相互攻撃シーン」が始まった。

機械学習論争の創始者

マーカスがルカンについて語る

最初に辞任した人の一人は、ディープマインドの上級研究科学者、ダニロ・ヒメネス・レゼンデ氏だった。

彼はうなずいて同意し、ヤン・ルカン氏の見解を簡潔に要約した。

ディープラーニングは、複雑なモジュラー微分可能関数を構築するためのツールのコレクションです。ディープラーニングで何ができるか、何ができないかを議論しても意味がありません。本当に重要なのは、どのようにトレーニングし、どのようにデータを供給するかです。

しかし、有名な AI トロールであるマーカスはこのツイートを見て、すぐにやめました。

ある方法で何ができて何ができないかを議論できないのであれば、それはまだ方法なのでしょうか?

批判を避けるために、ディープラーニングを推進する人々は常に具体的かつ検証可能な主張を避けようとします。これは非常に危険な信号です。

機械学習の先駆者たちが反撃：ディープラーニングは方法論である

これに対して、機械学習分野の創始者の一人であり、AAAI の元会長である Thomas G. Dietterich 氏はすぐに次のように反応しました。

ディープラーニングは方法ではなく、方法論です。それは研究の道です。

その結果、この討論会からもう一人の大物、ロボットのゴッドファーザー、ロドニー・ブルックスが登場した。

彼は言い​​ました: ああ、ディープラーニングは AI ですか、それとも AGI ですか?それとも、人類が考えつく将来のテクノロジーはすべてディープラーニングに基づいているのでしょうか?

この発言はマーカスの新たな闘志に火をつけたようだ。

ロドニー・ブルックスは正しい！ディープラーニング コミュニティは現在、将来のすべてのテクノロジーが DL のおかげであるかのような立場を取っていますが、実際には何も約束していません。

待っててください、すぐに全力で取り組みます。

こうした「挑発」に直面して、ディートリッヒ氏は次のように述べた。「DL（およびAIコミュニティ）の目標は、インテリジェントシステムにおける科学的および工学的進歩を促進することであり、おしゃべり王になることではない。」

ディープラーニングは「何」ではなく「どのように」を定義する

各関係者間の相互攻撃に加え、Kerasの作者であるフランソワ・ショレ氏も新たなスレッドを開設し、「ディープラーニングとは何か」についての見解を表明した。

彼は、現時点ではディープラーニングの定義は彼にとって「厳しすぎる」と考えています。これは次の反対です:

⑴ 非表現学習（SIFT、シンボリックAI、その他の人工特徴エンジニアリングなど）
⑵特徴抽出層が1つだけの「シャドウ学習」

さらに、特定の学習メカニズム (バックプロパゲーションなど) や特定のユースケース (教師あり学習や強化学習など) を規定しておらず、エンドツーエンドの連合学習も必要としません。

現在の定義は、ディープラーニングが何であるかではなく、ディープラーニングをどのように行うかを説明しています。

現在のディープラーニングの定義では、何がディープラーニングで何がそうでないかという比較的明確な境界のみが示されています。例えば：

DNN はディープラーニングですが、遺伝的プログラミング、クイックソート、サポートベクターマシンはディープラーニングではありません。

単一の密なレイヤーはディープラーニングではありませんが、密なスタックはディープラーニングです。

K-means はディープラーニングではありませんが、スタックされた K-means 特徴抽出器はディープラーニングです。

人間のエンジニアが書いたプログラムは一般に DL ではありません。また、そのようなプログラムをパラメータ化していくつかの定数を自動的に学習することもやはり DL ではありません。

表現学習を実行するには、一連の特徴抽出器が必要です。

フランソワ・ショレは、ディープラーニングモデルはプログラム空間のごく一部に過ぎないと考えています。

ショレ氏は当初この議論には加わっていなかったが、結局は議論に巻き込まれた。

心優しいネットユーザーのベン・カンファス氏は、マーカス氏のツイートの下にその場で@を付け、もう一人のディープラーニングの巨人でチューリング賞受賞者のベンジオ氏は次のように述べた。

ベンジオ氏、ショレット氏、その他の人々は、対処する必要がある真の問題に取り組んでいます。

DL 研究者に長年続けてきた研究を再び行うよう怒りながら呼びかけている人々が、この問題の解決にどのように役立つのかはわかりません。

マーカスは率直にこう説明した。

私はベンジオとショレのことをよく知っているが、彼らがもっと率直になってくれることを願うだけだ。

あなたは私の意味を誤解しました。

ベンジオ氏もショレット氏もマーカス氏の発言に直接反応しなかった。

群衆は混乱した

AI学術コミュニティのほとんどがこの議論に参加したようだ。あまりの壮大な光景に、見物人たちは少々困惑した。

誰かが尋ねました: 「この問題はそんなに難しいのですか?」

もちろん、困惑しているように見える人もいます。

それで、どう思いますか？

最初のサイトポータル

https://bit.ly/2ZqjKkA