AIが書いたコンテンツは判別が難しく、言語の専門家でさえ無力である

9月10日のニュース、2023年は人工知能の年です。チャットボットChatGPTから、グラミー賞に参加するAIによって作成された曲、大手スタジオによる自動化技術の過剰な使用に抗議するハリウッド俳優や脚本家まで、人工知能はいたるところに存在します。

IT Homeは、米国のサウスフロリダ大学による最近の研究で、AIによって生成されたテキストコンテンツは、人間が書いたものと区別がつかなくなる可能性があることが示されたと指摘した。研究の著者らは、数人の言語学の専門家をこのプロジェクトに参加するよう招待した。彼らは世界トップの言語学ジャーナルの専門家だが、そのような専門家でさえもAIが書いたものを認識するのは困難だった。全体として、正しく区別できたのはわずか 39 パーセントでした。

サウスフロリダ大学世界言語学部の学者マシュー・ケスラー氏は、メンフィス大学応用言語学助教授J・エリオット・カサール氏と協力し、72人の言語学専門家に一連の研究概要を審査させ、どれが人間によって書かれ、どれがAIによって生成されたかを判断した。具体的には、参加した各専門家は 4 つの文章サンプルを検査する必要がありました。結果によると、4 つのサンプルすべてを正しく識別できた専門家はおらず、専門家の 13% がすべてを誤って識別しました。

これらの結果に基づいて、研究著者らは、現代の教授のほとんどは学生自身が書いたコンテンツと AI によって生成されたコンテンツを区別できないという結論に至った。研究者たちは、近い将来、AIが書いたものを人々に認識させることを支援するソフトウェアの開発が必要になるかもしれないと推測している。

言語学の専門家は、特定の言語的特徴や文体的特徴を特定するなど、さまざまな理由を使用して文章サンプルを評価しようとします。しかし、最終的にはこれらのアプローチは大部分に失敗し、全体的な正しい認識率はわずか 38.9 パーセントに留まりました。

要約すると、Kessler 氏と Casal 氏はどちらも、ChatGPT のようなチャットボットは確かにほとんどの人間と同じように短いエッセイを書くことができる (場合によっては人間よりも優れている) と結論付けました。 AIは通常、文法上の誤りを犯しません。しかし、研究の著者らは、長文の文章に関しては、人間が依然として優位に立っていると指摘している。

「長いテキストの場合、AIは幻覚や捏造されたコンテンツを生成することが示されており、AIによって生成されたものであることが識別しやすくなります」とケスラー氏は結論付けた。

ケスラー氏は、この研究が、研究や教育における AI の使用に関する明確な倫理とガイドラインを確立する緊急の必要性についての議論を巻き起こすきっかけとなることを期待している。この研究は「応用言語学の研究方法」誌に掲載された。