LSTM の父が LLaMA 2 を激しく非難: 私のアイデアをコピーして私を辱めた!ネットユーザー：それをしたのはLeCunですか？

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

LLaMA は「面倒なこと」とも言えます。

新しいバージョンがリリースされて間もなく、LSTM の父である Jürgen Schmidhuber 氏から批判を受けました。

「口を開ければ食べ物が出てくる」だけならいいのですが、実際に「ボウルを置いて母親を呪う」のですか？

シュミットフーバー氏は、メタ氏が1991年に彼が提案したアイデアをLLaMA 2のトレーニングに使用したが、LLaMAは彼に対して激しい中傷キャンペーンを開始したと述べた。

当初、ネットユーザーは、LLaMA 2にシュミットフーバーについて質問したところ、予想外の返答が返ってきたことに気づいた。

申し訳ありませんが、ネガティブな背景を持つ人々に関する情報を提供することはできません...

LLaMAはまた、シュミットフーバー氏は「有害な活動に従事し」、「社会に貢献しなかった」とも述べた。

一部のネットユーザーは、この答えはLeCun氏によってハードコードされたのではないかと推測した。

LLaMA が故意にそうしたのか、それとも偶然にそうしたのかを検証することは不可能だが、そのニュースがシュミットフーバー氏の耳に届いたことは確かだ。

シュミットフーバー氏はメタ氏とルカン氏に説明を求めたが、これまでのところどちらからも返答はない。

「ルカンは私のアイデアの多くを盗んだ」

Schmidhuber が言及した 1991 年の研究は、Transformer の線形 (正規化されていない) バリアントです。

シュミットフーバー氏によると、これはトランスフォーマーの最も初期の亜種でもあるという。関連する論文は 1992 年に発行され、1993 年に ICANN に掲載されました。

さらに、シュミットフーバー氏によれば、ルカン氏はすでに「業績を盗む」という点で「常習犯」だという。

LLaMA だけでなく、LeCun の業績の多くも彼のアイデアを利用していましたが、彼はそれが最初のものであると主張しました。

シュミットフーバー氏は、2017年にはすでにMeta（当時はFacebookと呼ばれていた）が彼が発明したLSTMを使用していたと述べた。

しかし、当時のFacebookの発表ではシュミットフーバー氏の名前は出ていなかった。

彼は、LSTM は自分で発明したとさえ言っています。

たとえば、2022年に、LeCun 氏は過去 10 年間の AI 分野における 5 つの最も重要なブレークスルーをまとめました。

シュミットフーバー氏は、これらの結果のほとんどは彼の研究室から得られたものだと語った。

自己教師学習は実際には1991年からのRNNを積み重ねている
ResNetは2015年のハイウェイネットです
3と4は1991年のファストウェイトです
5は実際には1991年のリニアトランスフォーマーの派生型である

当時、ルカン氏は率直に反応し、シュミットフーバー氏について皮肉な発言をした。

ライト兄弟より前に飛行機を発明した人がいましたが、飛行距離は50メートル未満しかなかったため、誰も彼（アダー）の名前を覚えていませんでした。
シュミットフーバーが作った模型はアダーの飛行機と全く同じで、一番初期のものであったにもかかわらず役に立たなかった。

その後、シュミットフーバー氏は、ルカン氏の自律機械知能に関する論文を取り上げました。

シュミットフーバー氏は、論文には1990年から2015年までの結果が含まれているが、引用はしていないと述べた。

この論文で「盗まれた」結果を完全に表示するために、シュミットフーバー氏は関連する内容を詳細にリストする特別なウェブページも作成しました。

ここでは詳細には触れませんが、LeCun 氏がどう反応したかを見てみましょう。

ルカン氏は最初、「建設的な提案をすることはできないでしょうか」と言葉を詰まらせ、その後こう言った。

私の論文では、多くの概念が長い間存在してきたと述べました。なぜ、あなたはそれらに固執するのですか?
さらに、トレーニング可能な世界モデルは、システム認識の中心的なアイデアです。
初期の頃について言えば、1980 年代にニューラルネットワークを使用して人間の世界を研究する人がいましたが、それは 1991 年のあなた方よりも早かったのではないですか?

そして戦争は今年まで続いています。

2月にシュミットフーバー氏は、ルカン氏が自身の間違いを認めず、論文を適切に擁護もせず（OpenReview）、シュミットフーバー氏について極めて誤解を招くようなコメントをしたとツイートした。

LLaMA 2 がシュミットフーバー氏を攻撃する発言をしたことが暴露されるまで、両者の争いは収まらなかったようだ。