LeCun はもう一つの有名な引用を残しました: ChatGPT?犬ほども良くない！それは言語モデルによって供給されるだけである

チューリング・ビッグスリーの一人であるルカン氏は昨日、もう一つの名言を残した。

「知能の面では、ChatGPT は犬ほど賢くないかもしれません。」

この文章は木曜日にVivatechで行われたLeCun氏とJacques Attalie氏との討論から引用したもので、非常に刺激的な内容でした。

CNBC はこの文章を直接見出しに載せ、その後 LeCun 氏はすぐにそれをリツイートした。

「ChatGPTと犬：全然似ていない」

LeCun氏は、現在のAIシステムは、ChatGPTでさえ人間の知能レベルに達しておらず、犬ほど賢くもないと述べた。

ご存知のとおり、今日の AI の爆発的な発展により、ChatGPT の強力なパフォーマンスに感銘を受けた人は数え切れないほどいます。この文脈において、ルカン氏の発言は衝撃的である。

しかし、ルカン氏は一貫して、現在の AI 知能のレベルは心配するほどのものではないため、過度に神経質になる必要はないと考えている。

他のテクノロジー大手は基本的にルカン氏とは反対の意見を持っている。

例えば、チューリング・スリーの一員でもあるヒントン氏とベンジオ氏、サム・アルトマン氏らが署名した公開書簡、AI専門家、マスク氏の危機発言など。

このような環境の中で、ルカン氏は常に「初志を貫き」、今は何も心配することはない、と固く信じている。

LeCun 氏は、現在の生成 AI モデルはすべて LLM でトレーニングされており、言語トレーニングのみを受けたモデルはあまり賢くないと述べました。

「これらのモデルのパフォーマンスは非常に限られており、現実世界を理解する能力がありません。これは、大量のテキストのみでトレーニングされているためです。」

そして、人間が持つ知識のほとんどは言語とは関係がないため、AI はこの内容を捉えることができません。

ルカン氏は、試験内容がすべてテキストベースになったため、AI は司法試験に合格できるようになったと例えました。しかし、10歳の子供なら10分で食器洗い機の取り付け方を学べるのに、AIが食器洗い機の取り付けをすることは絶対に不可能だ。

そのため、ルカン氏は、Meta がビデオを使って AI をトレーニングしようとしていることを強調しました。ビデオは単なる言語以上のものなので、ビデオを使用したトレーニングを実施するのはより困難です。

ルカン氏は知能の違いが何であるかを説明しようと、別の例を挙げた。

生後 5 か月の赤ちゃんは、浮いている物体をあまり気にしません。しかし、生後 9 か月の赤ちゃんは、浮いている物体を見ると非常に驚くでしょう。

なぜなら、生後 9 か月の赤ちゃんの認識では、物体は浮いてはいけないからです。

ルカン氏は、現時点では AI がこのような認知能力を獲得できるようにする方法がわかっていないと述べた。これが達成されるまで、AI が人間、いや猫や犬の知能を持つことは不可能でしょう。

アタリ：私も公開書簡に署名したい

議論の中で、フランスの経済社会理論家ジャック・アタリ氏は、AIの良し悪しは人々がそれをどう使うかによって決まると述べた。

しかし彼は将来については悲観的だ。公開書簡に署名したAI専門家と同様に、彼は人類が今後30年から40年の間に多くの危険に直面するだろうと考えている。

彼は気候災害と戦争を最大の懸念として挙げたが、AIロボットが私たちの邪魔をするかもしれないとも懸念した。

アタリ氏は、AI技術の発展には境界を設定する必要があると考えているが、誰が境界を設定するのか、どのような境界が設定されるのかはまだ不明だ。

これは、しばらく前に署名された2つの公開書簡で主張されていた内容と同じです。

もちろん、ルカン氏は公開書簡を無視し、署名していないと大声でツイートした。

LeCunがChatGPTをノンストップで攻撃

これに先立ち、LeCun 氏は ChatGPT について同様のことを何度も述べていました。

今年1月27日、Zoomのメディアと幹部の小さな集まりで、LeCun氏はChatGPTについて驚くべき評価をしました。

「ChatGPT は、基盤となるテクノロジーの点では特に革新的な製品ではありません。世間の目には革命的なものに映りますが、私たちはそれが単によく組み立てられた製品に過ぎないことを承知しています。」

「GoogleとMeta以外にも、基本的に非常に似た技術を持つスタートアップが6社あります。」

さらに、ChatGPTが採用しているTransformerアーキテクチャはGoogleが提案したものであり、そこで採用されている自己監督方式は、OpenAIがまだ誕生していなかった頃に彼が提唱していたものとまったく同じであるとも述べた。

この事件はさらに大きな騒動を引き起こし、サム・アルトマンはツイッターでルカンのフォローを直接解除した。

1月28日、LeCunは2得点を挙げ、ChatGPTへの攻撃を続けた。

「大規模な言語モデルには物理的直感がありません。テキストで訓練されているのです」と彼は言う。「大規模な連想記憶から類似の質問に対する答えを取り出すことができれば、物理的直感の質問に正しく答えられるかもしれません。しかし、完全に間違える可能性もあります。」

LeCun 氏の LLM に関する見解は一貫しており、変わることはありませんでした。昨日の議論から、彼は言語訓練を通じて学んだものには全く知性がないと考えていることが分かります。

今年2月4日、ルカン氏は「大規模言語モデルは人間レベルのAIへの道における曲がりくねった道である」と率直に述べた。

「自己回帰と次の単語の応答予測に依存する LLM は、計画も推論もできないため、悪いアプローチです。」

もちろん、ルカン氏がそう信じるのには十分な理由がある。

ChatGPT のような大規模言語モデルは「自己回帰」です。 AIは、最大1兆4000億語のコーパスから単語を抽出し、与えられた文のシーケンスの最後の単語、つまり次に来る単語を予測するようにトレーニングされています。

1950 年代のクロード・シャノンの研究はこの原理に基づいていました。

原理は同じままです。変わるのはコーパスのサイズとモデル自体の計算能力です。

LeCun氏は、「現時点では、このようなモデルでは長くて一貫性のあるテキストを生成することはできません。これらのシステムは制御できません。たとえば、ChatGPTに13歳の子供向けのテキストを生成するよう直接依頼することはできません。」と述べています。

第二に、ChatGPT によって生成されたテキストは、情報源として 100% 信頼できるわけではありません。 GPT は補助ツールのように機能します。既存の運転支援システムと同様に、自動運転機能がオンになっている場合でも、ハンドルを握っておく必要があります。

さらに、今日私たちがよく知っている自己回帰言語モデルの寿命は 5 年周期と非常に短く、5 年後には誰も古いモデルを使用しなくなります。

私たちの研究の焦点は、これらのモデルを制御する方法を見つけることにあるはずです。つまり、私たちが研究したい AI は、与えられた目標に基づいて推論し、計画を立てることができる AI であり、安全性と信頼性の基準が一貫していることを保証できなければなりません。このAIは感情を感じることができます。 「

人間の感情の大部分は目標の達成、つまり何らかの形の期待に関係していることを理解する必要があります。

このような制御可能なモデルを使用すると、長くて一貫性のあるテキストを生成できます。

LeCun 氏の構想は、将来的には計算機や検索エンジンなどのさまざまなツールからのデータを混合できる強化モデルを設計することです。

ChatGPT のようなモデルはテキストのみでトレーニングされるため、ChatGPT の現実世界の理解は不完全です。これを基にさらに発展させたい場合は、世界全体の感覚知覚と世界構造に関連するいくつかの内容を学ぶ必要があります。

しかし、興味深いのは、Meta の独自モデルである galactica.ai がオンラインになってから 3 日後にネットユーザーから批判され、存在しなくなったことです。

その理由はナンセンスです。