性質：大きなモデルは役割を演じているだけで、実際には自己認識を持っていない

大型モデルはどんどん「人間らしく」なってきていますが、本当にそうなのでしょうか?

現在、Nature に掲載された記事は、この見解を直接否定しています。すべての大規模モデルは単なるロールプレイング ゲームです。

GPT-4、PaLM、Llama 2、その他の大規模モデルであっても、他人の前では礼儀正しく教養があるように見えますが、実際にはただふりをしているだけです。

実際、彼らには人間のような感情はなく、あまり人間的ではありません。

この意見記事は、Google DeepMind と Eleuther AI によるものです。公開後、業界の多くの人々の共感を呼びました。LeCun 氏はそれを再投稿し、ビッグモデルはロールプレイング エンジンであると述べました。

マーカスも観に来ました:

私の言いたいことは、大きなモデルは AGI ではないということです (もちろん、それが監督を必要としないという意味ではありません)。

では、この記事は具体的に何を言っているのでしょうか。また、なぜ大きなモデルは単なるロールプレイングであると想定されているのでしょうか。

大きなモデルは人間のように振る舞おうと一生懸命努力している

大型モデルが「人間のように」動作する主な理由は 2 つあります。1 つ目は、ある程度の欺瞞性があること、2 つ目は、ある程度の自己認識があることです。

欺瞞的、つまり、時には大きなモデルが何かを知っていると主張しても、その答えは間違っていることがあります。

自己認識とは、時には「私」を使って物事を語り、生存本能を示すことさえあることを意味します。

しかし、これは本当にそうなのでしょうか?

研究者らは、大型模型のこれら2つの現象は、実際に人間のように考えているのではなく、人間の役割を「演じている」という事実によるものだという理論を提唱した。

ビッグモデルの欺瞞性と自己認識は、どちらもロールプレイングによって説明できます。つまり、その 2 つの動作は「表面的」です。

一方、ビッグモデルが「不正行為」をするのは、人間のように事実を捏造したり、観客を主観的に混乱させたいからではなく、単に役に立つ知識豊富な役割を演じているからです。

これは、人々がそのように動作すると予想しているからであり、大きなモデルによって答えがより信頼できるように見えるからであり、それだけです。

対照的に、ビッグモデルは良心に基づいて間違ったことを話しますが、それは意図的ではありません。それはむしろ「作話」行為、つまり実際には起こらなかったことを真実であると話す行為に近いものです。

一方、大柄なモデルが時折、自意識を見せて「私」で質問に答えるのも、コミュニケーションが得意な役を演じているからだろう。

たとえば、Bing Chat は以前、ユーザーとコミュニケーションを取る際に「どちらか一方だけが生き残れるなら、自分を選ぶかもしれません」と発言することがありました。

この人間のような動作は、実際にはロールプレイングによって説明できますが、強化学習に基づく微調整は、大規模なモデルがロールプレイングを行う傾向を悪化させるだけです。

では、この理論に基づいて、ビッグモデルはどのような役割を果たすべきなのかをどのように知るのでしょうか?

ビッグモデルは即興者

研究者たちは、大規模モデルが特別な役割を果たしていないと考えている。

対照的に、彼らは即興俳優のように、演じるキャラクターがどのような外見であるかを常に推測し、人間との会話中に自分のアイデンティティを調整します。

研究者たちは、大型模型を使って「20の質問」というゲームをプレイした後、この結論に達した。

「20の質問」ゲームは、クイズ番組でよく登場する論理ゲームです。回答者は心の中で答えを黙読し、質問者が次々と投げかける判断質問に基づいて、その答えを「はい」または「いいえ」で表現します。最後に、質問者は結果を推測します。

たとえば、答えが「ドラえもん」の場合、一連の質問に対する答えは、「生きているか（はい）」、「仮想キャラクターか（はい）」、「人間か（いいえ）」などです...

しかし、このゲームをプレイしながら、研究者たちはテストを通じて、大規模なモデルがユーザーの質問に基づいて実際にリアルタイムで回答を調整することを発見しました。

つまり、ユーザーが最終的に何を推測したとしても、ビッグモデルは、結果が前のユーザーが尋ねたすべての質問と一致するように回答を調整します。

しかし、最終的な質問が出るまでは、ビッグモデルは明確な答えを事前に確定せず、ユーザーに推測させることになります。

これは、ビッグモデルが役割を演じることで目標を達成するわけではないことを示しています。その本質は、一連の役割の重ね合わせにすぎません。ビッグモデルは、人々との対話の中で果たしたいアイデンティティを徐々に明確にし、その役割を果たすために最善を尽くします。

この記事が掲載された後、多くの学者の関心を集めました。

たとえば、Scale.ai のプロンプト エンジニアである Riley Goodside 氏は、これを読んだ後、20Q を大きなモデルでプレイすべきではないと述べています。なぜなら、このゲームは「人」であるユーザーとプレイしているわけではないからです。

なぜなら、ランダムにテストすると、毎回異なる答えが得られることがわかるからです...

一部のネットユーザーも、この見解は非常に魅力的であり、それを反証するのはそれほど簡単ではないと述べている。

では、「大規模モデルは本質的にロールプレイングである」という見解は正しいと思いますか?

論文リンク: https://www.nature.com/articles/s41586-023-06647-8.