AI幻覚にどう対処するか？

人工知能は、一見奇妙に思える人間の質問にも答えられるようになりました。しかし、時には人工知能が答えを持っていることもあります。これらの架空の反応は本当の幻覚でしょうか、それとも何か他のものでしょうか?

要点:

調査では、回答者の93%がAIの幻覚が何らかの形で実際の危害につながる可能性があると考えていることがわかった。

ChatGPT は仕事を素早く終わらせる手段かもしれませんが、信頼できるアドバイザーであるかのように Siri や Alexa に話しかける人が増えています。

AI の反応は、人間の存在のほぼすべての側面に影響を及ぼす可能性があります。

OpenAI が昨年 11 月に Chat Generation Pretrained Transformer (ChatGPT) をリリースしたとき、それはすぐに世界中のユーザーによってテストされました。 ChatGPT は、革命的な研究ツールであり、興味深い新製品であると考えられています。

AI チャットボットはさまざまな情報源から情報を収集し、それを会話形式のわかりやすい形式にまとめることに長けていることが証明されており、これを便利だと感じる人もいます。しかし、多くの人は非論理的な結論や、まったくの嘘に直面することになります。返答の多くは笑えるものだった。例えば、このプラットフォームは著名人の生年月日や死亡日を収集しているが、彼らが本当に死んでいるとは断言できないのだ。

しかし、不安になるものもあります。 ChatGPT は医学研究を発明し、それを無関係な論文の DOI (デジタルオブジェクト識別子) にリンクします。これらの混乱した結果は AI 幻覚と呼ばれ、現実とはほとんど関係のない大規模言語モデル (LLM) によって生成された情報です。これらのいわゆる幻覚の中には、完全に捏造されたものもあるが、証明された事実に基づいていながら、その隙間をでたらめで埋めた作り話もあるようだ。

LLM がこのように失敗する理由は十分に理解されていません。現在の考え方では、どのような名前で呼ばれようとも、こうした不正確な応答は AI システムでは常に発生し、完全に軌道から外れないようにするには人間からのフィードバックが不可欠であるとされています。

さらに、こうした失敗を説明するために使用される言語は、ますます異論を唱えられるようになっています。これらは本当に人間が経験する幻覚なのでしょうか? どうすれば修正できるのでしょうか?

AI幻覚とは何ですか?

2015 年の精神病に関する調査記事によると、「幻覚は、対応する外部刺激または身体刺激がない場合の感覚知覚として定義され、幻覚が発生する感覚領域に応じて説明されます。幻覚は、幻覚の性質を認識しているかどうかに関係なく発生する可能性があります。」

AI によって生成される不正確な情報を幻覚として表現することは、この概念を比喩的に利用しています。ロボットは電気羊になることを夢見ないかもしれないが、適切な環境であればロボットが存在できるという考えは作り出されるかもしれない。この用語は顔とジェスチャーの認識に関する会議の論文で初めて登場し、その後広く使われるようになりました。

ChatGPT のようなシステムでは、これらの幻覚はさまざまな形で現れる可能性があります。 ChatGPT はユーザーが入力したプロンプトに反応します。 Tidio の調査によると、それらはプロンプトと直接矛盾したり、矛盾する文章や事実を含んだり、あるいは情報源を完全に捏造したりする可能性がある。他の場合には、この用語の本来の用法のように、ビデオや画像の形で視覚的なものであったり、聴覚的なものであったりすることもあります。

AI の幻覚にはさまざまな種類がありますが、結局のところ、すべて同じ問題に行き着きます。つまり、トレーニングに使用したデータを混ぜ合わせて、まったく新しい偽物を生成することです。

これらの幻覚反応は、表面的には合理的であることが多いが、常にそうであるとは限らない。これらのモデルは、ユーザーが理解しやすい資料を作成するように設計されているため、誤った情報であっても自信を持って事実に基づいて提示されます。そのため、幻覚であっても、あたかも現実であるかのように表現されます。

それは本当に幻想なのでしょうか？

機械が生成した仮想的な反応と人間の感覚現象の類似性は明らかです。どちらも現実に根拠のない情報を生成します。幻覚を体験している人が、鮮明で本物そっくりな画像を見たり、実際の聴覚現象を彷彿とさせる音を聞いたりするのと同じように、LLM は、現実のように見えるが実際にはそうではない情報を「心」の中に作り出すことがあります。

しかし、最近「統合失調症速報」に掲載された記事では、この比喩的な構成に疑問が投げかけられています。著者らは次のように主張している。「これは不正確な比喩です。幻覚は、外部刺激がない場合に生じる感覚的知覚を説明するために使用される医学用語です。AI モデルには感覚的知覚はなく、間違いを犯したとしても、外部刺激がない場合には起こりません。むしろ、AI モデルをトレーニングするデータは外部刺激と見なすことができ、（時には誤った）応答を引き起こす手がかりも同様です。」

さらに彼らは、「幻覚」という言葉を使うことは、精神疾患を患い、真の幻覚を体験している人々に対する侮辱であると主張している。代わりに「非論理的」または「無関係な応答」を使用することを提案しています。

「AI の誤解」、「AI の捏造」、「AI の誤謬」といった選択肢もあり、人々はこれをためらうことなく幻想と呼ぶでしょう。

しかし、これらの言葉は人々の共感を得るにはほど遠く、問題に注目を集めることはなさそうです。 IBM がこの問題の概要をまとめた著者を含む一部の観察者は、「幻覚」という用語は不正確だが、その使用は比較的正確で比喩的であると主張している。

AI幻覚はなぜ起こるのか？

AI 幻覚の根本的な原因は不明ですが、いくつかの考えられる説明が浮上しています。

これらの現象は通常、設計およびテスト中のデータ提供が不十分であることに関連しています。最初に限られた量のデータがモデルに入力された場合、クエリが別の種類のデータの理解に依存している場合でも、モデルはそのデータに依存して将来の出力を生成します。これは過剰適合と呼ばれ、モデルは特定の種類のデータに対して高度に調整されますが、新しい種類のデータには適応できなくなります。モデルによって学習された一般化は、元のデータセットに対しては非常に効果的かもしれませんが、無関係なデータセットには適用できない可能性があります。

モデルが単語の意味や意味構造の変化を完全に考慮していない場合、それ自体が問題になることもあります。ベクトルエンコーディングは、これらのイベントを回避するために、単語と文の構造のさまざまな意味をマッピングします。モデルが同義語の持つさまざまな意味や、同義語が展開されるさまざまな方法を理解していない場合、意味のない応答や不正確な応答を返す可能性が高くなります。

AI 幻覚はなぜ問題なのでしょうか?

Tidio の調査では 974 人を対象に調査が行われ、93% が AI の幻覚が何らかの形で実際の危害につながる可能性があると考えていることがわかった。同時に、ほぼ 4 分の 3 が AI が正確な情報を提供してくれると信頼しており、これは明らかな矛盾です。

何百万人もの人々が毎日人工知能を使用しています。 ChatGPT は多くの人にとって好奇心をそそるもの、あるいは仕事を素早く終わらせる手段であるかもしれない。例えば、多くの学生が ChatGPT で書いた論文を自分の論文の例として提出しようとしたり、Siri や Alexa に信頼できるアドバイザーであるかのように話しかけたりする人もいる。家の修理から医療アドバイスまで、ユーザーはこれらの優しい音声の AI 機能に頼っています。通常、合理的でよく構成された応答があります。

しかし、もしそうならなかったらどうなるでしょうか? 責任はどこにあるのか? AI を信頼しているユーザーと一緒に? 開発者はこれらの状況を予見していなかったのでしょうか? それとも、AI はまったく存在せず、影響を与える物質的な現実から切り離されたかのように、いわばクラウドに浮かんでいるのでしょうか?

AI の対応は、選挙からパンデミックなどの社会危機に関する情報、法制度に至るまで、人間の存在のほぼすべての側面に影響を及ぼす可能性があります。

Tidioの回答者のほぼ半数は、AI運動の傲慢さが人間の生存権や呼吸権を侵害しないようにするために、開発者にはより強力な法的ガイドラインが提供されるべきだと考えています。

AI プラットフォームはすでに、それに応じて不正確で偏った情報を生成しています。 6月、ニューヨークの法律事務所がクライアントに代わって航空事故傷害訴訟の判例を提出したが、これはChatGPTによって完全に捏造されたものであることが判明し、5,000ドルの罰金が科せられた。 2016年、マイクロソフトのチャットボットTayが人種差別的なツイートを生成し始めたため、同社はこれを停止した。

ChatGPTを使用して研究のための参考文献を収集しようとした多くの医学研究者も懸念を表明しています。ネイチャー誌「Schizophrenia」の8月の論説では、主張を裏付けるために虚偽の論文を作成するChatGPTの傾向を痛烈に非難した。抗精神病薬治療に関連する可能性のある特定の脳領域に関する 5 つの言及のうち、3 つは完全に捏造されたものであり、精神病は実際の幻覚を引き起こす可能性があるため、AI 幻覚のかなりメタな例です。

より大規模な調査により、ChatGPT によって生成された 178 件の参照のうち、28 件はまったく存在せず、41 件には正確な DOI が含まれていないことが判明しました。

AIが実際の医療に利用された場合、医師はまれな病気や診断が難しい病気の答えを見つけるために文献を調べる必要がしばしば生じ、こうした結果は文字通り生死に関わる問題となる可能性がある。

これらの調査結果は、LLM が現実世界に深刻な悪影響を及ぼす可能性のあるアプリケーションにはまだ対応できていないことを示唆しています。

AI 幻覚を軽減するにはどうすればよいでしょうか?

Tidio の調査によると、LLM ユーザーの約 3 分の 1 が AI の幻覚を直感的に認識し、約 3 分の 2 が確認のために結果を相互参照したという。後者の傾向は短期的には救いになるかもしれない。ほとんどの人は、これらのプラットフォームを盲目的に信頼するべきではないと知っているからだ。

AI プラットフォーム開発者は、この種の人間による入力をモデルのトレーニングに引き続き使用しています。有望なアプローチの 1 つは、プロセス監視と呼ばれます。 OpenAI は現在、これを使用して ChatGPT を改良しています。単に正解に報酬を与える（結果監視と呼ばれる）のではなく、プロセス監視では、結果を達成するために使用するロジックの各ステップを微調整します。

他の研究では、この範囲を拡大し、応答のクラウドソーシング分析によって AI システムへの人間からのフィードバックのレベルを飛躍的に高めることが提案されています。もちろん、これは面倒なことになる可能性があります。人間は、間違いを訂正する傾向があるのと同じように、意図的であろうとなかろうと、不正確な情報を提供してしまう傾向があります。偏見は今後も継続的な問題となるでしょう。

AI プラットフォームがより広く使用される前に、より広範なデータセットを使用することで、幻覚反応を軽減できる可能性もあります。モデルが幅広いデータに精通していれば、その能力を試すような問題に直面しても失敗する可能性は低くなります。また、モデルが俊敏であり、積極的に学習し続けることを保証するために、これらのデータセットは継続的に更新される必要があります。

偏見や事実確認のメカニズムが最初から組み込まれ、積極的に維持されるようにすることで、回答の忠実性を確保することにも役立ちます。したがって、モデルに幻覚を起こさせるように積極的に誘導し、それをリバースエンジニアリングすることで、そもそもなぜ幻覚が起こるのかを明らかにすることができます。 2023 年 5 月の論文で紹介された Large Language Model Hallucination Evaluation (HaluEval) ベンチマークは、これを実行し、モデルに独自の幻覚を認識するように教えることを試みています。 LLM のロジックをトレースするのは非常に難しいため、これは難しい提案です。