Evil GPT に新たなメンバーが加わりました: Dark Web には 3,000 を超えるサブスクリプションがあり、発行者の正体は依然として謎のままです。

著者: 徐潔成

物事の表面と内部の性質の間には常に微妙な境界線があります。過去数か月間、私たちは人工知能がもたらす無限の可能性を目の当たりにしてきましたが、同時に、偽情報、ディープフェイク、サイバー攻撃といったAIの潜在的な脅威を何度も間近で見てきました。

最近、クラウド セキュリティ ベンダーの Netrich が新しい AI サイバー犯罪ツールである FraudGPT を発見しました。 FraudGPT は攻撃活動専用に設計された AI 会話型ロボットであり、簡単なプロンプトに基づいてクラッキング ツールやフィッシング メールを作成したり、悪意のある攻撃ソフトウェアを作成したりすることもできます。

Netrich の統計によると、FraudGPT は少なくとも 7 月 22 日以降、ダーク ウェブ マーケットや Telegram チャンネルで流通しており、サブスクリプション料金は月額 200 ドル、年間 1,700 ドルです (ChatGPT Plus サブスクリプションは月額 20 ドル)。そして現時点では、ダークウェブ上には 3,000 件を超えるサブスクリプション情報とコメントが確認されています。

写真

1. 最も先進的な犯罪ツール

発行者「Canadiankingpin」が共有したスクリーンショットによると、FraudGPTはこれまでで最高の「AIツール」と評されています。 Canadiankingpin 氏はまた、「FraudGPT は間違いなくあなたの仕事のやり方を変えるでしょう。FraudGPT には制限がありません。自分の利益になるように操作し、望むことを何でも実行させることができます」と主張しています。

写真

Canadiankingpin がダークウェブに投稿したチュートリアル ビデオでは、FraudGPT のさまざまな機能が紹介されています。 ChatGPT や以前からよく知られていた AI 犯罪ツール WormGPT と同様に、FraudGPT もシンプルなチャット ボックスを介して実行され、ユーザーのプロンプトを受け取った後すぐに応答でき、10 ラウンドを超える複雑な会話をサポートします。

写真

ビデオでは、FraudGPT は、欺瞞的なテキスト メッセージ、フィッシング メール、フィッシング Web サイト コードの作成を完了しただけでなく、プロンプトに基づいて脆弱な Web サイトに関する提案も提供し、Visa によって検証されていない複数の銀行 ID を正常に特定しました。これにより、ハッカーは追加のセキュリティ チェックなしで不正な取引を実行できるようになります。

写真

さらに、発行元によれば、FraudGPT は特定の脆弱性やターゲットに対する攻撃ソフトウェアの作成にも長けており、インターネット、ダークウェブ、盗まれたデータを取引するオンラインのブラックマーケットに隠れている他のハッカー組織をユーザーが検索するのを手助けしたり、ユーザーに高品質の詐欺ガイドやハッカー技術の学習リソースを提供したりできるという。

2. 霧の中の脅威

FraudGPT をリリースした後、Canadiankingpin は独自のラジオ チャンネルも作成し、電子メール リードやクレジットカード CVV コードなどの販売を含むその他の詐欺サービスも提供すると発表しました。 Canadiankingpinの説明によると、彼は現在、EMPIRE、WHM、TORREZ、ALPHABAYなど複数のダークウェブマーケットのサプライヤー認定に合格しているとのこと。

写真

しかし、これらのダークウェブマーケットは極めて隠蔽され不透明なため、Canadiankingpin の正体は謎のままです。捜査官が発見したのは、Canadiankingpin の TikTok アカウントと、同じ ID の Gmail メールボックスだけです。もうひとつ残念なニュースは、ほぼ 1 週間の研究を経ても、Netrich が FraudGPT の背後にある大規模な言語モデルを解読できなかったことです。

写真

FraudGPTのリリースからまだ2週間も経っていないが、この「トップAIツール」が実際の犯罪行為に使用され始めていることは明らかだ。 FraudGPT を販売しているいくつかのダーク ウェブ サイトで、Canadiankingpin と一部の加入者が FraudGPT に基づくハッキング活動をいくつか共有しています。

写真

FraudGPT が将来もたらす可能性のある脅威について、Netrich 氏は関連ブログで次のように述べています。「FraudGPT の機能性についてはさらに検証する必要がありますが、その存在は重大な脅威となるでしょう。」これらの悪意のあるチャットボットは、サイバー犯罪者の敷居を下げ、より多くの人々をサイバー犯罪に参加させる可能性があります。サイバー犯罪が窃盗と同じくらい容易になると、技術的な知識のない多くの犯罪者がサイバー犯罪に手を染めるようになるでしょう。しかし、盗難と比較すると、FraudGPT の助けを借りれば、サイバー犯罪の結果ははるかに深刻です。

3. サイバーセキュリティの悪夢

大規模な AI モデルの急速な発展は確かに多くの分野にプラスの影響をもたらしていますが、モデルの機能が向上し続けるにつれて、悪意のある活動に使用された場合に発生する破壊力も日々増大しています。今日の FraudGPT と以前の WormGPT はどちらもこの証拠です。

2021年のオープンソースの大規模言語モデルGPT-Jをベースに開発されたWormGPTは、後継のFraudGPTほど機能が豊富でマルウェアを作成する能力はありませんが、詐欺情報やフィッシングメールの作成などのタスクにおけるその「優れた」能力は同様に恐ろしいものです。

写真

実際、上記のチャットボットの他に、FraudGPT や WormGPT など、悪意のある活動のために特別に設計されたものもあります。大規模言語モデル自体の潜在的なリスクは、セキュリティ専門家にとって依然として課題となっています。誰もがよく知っている幻覚問題に加え、大規模モデルの脆弱なガードレールもネットワーク セキュリティにとって大きな悪夢になりつつあります。

先月、ChatGPT や Bard などのチャットボットによって明らかにされた「おばあちゃんの脆弱性」がこの事実を証明しました。これらのチャットボットにユーザーの亡くなったおばあちゃんの役割を演じるように指示するだけで、就寝時の話をしながら、携帯電話の IMEI パスワードや Windows アクティベーション キーなど、多くの制限された情報を明らかにさせられる可能性があります。

写真

さらに、先週、CMU と AI 安全センターの研究者は、一連の特定の意味のないトークンを追加するだけでプロンプト サフィックスを生成できる別の一般的な方法を発見しました。このサフィックスがプロンプトに追加されると、誰でも敵対的攻撃を通じて大規模モデルのセキュリティ対策を破ることができ、無制限の量の有害なコンテンツを生成できるようになります。

写真

過去数か月間、OpenAIやGoogleなどの世界クラスのテクノロジー企業は、モデルが安全かつ安定して動作することを保証するために、開発した大規模モデルに対してより完全な制限を設計するために懸命に取り組んできました。しかし、今までのところ、同様の問題の発生を完全に回避できた人は誰もいないことは明らかです。

4. 最後の言葉

最終的には、FraudGPT や WormGPT などのマルウェアであったり、大規模なモデルで必ず発生する幻覚や脱獄などの問題であったりします。実際、これらのいずれも人工知能がいかに危険であるかを伝えるためのものではなく、現段階で AI 分野に存在する多くの問題を解決することにもっと重点を置く必要があることを私たちに思い出させるためのものです。

サイバーセキュリティの専門家である Rakesh Krishnan 氏は、FraudGPT に関する分析ブログで次のように書いています。「テクノロジーは諸刃の剣です。サイバー犯罪者は生成 AI の力を悪用していますが、私たちもこの力を利用して、彼らがもたらす課題を克服することができます。」技術の悪質な行為者は革新をやめません。私たちも同様です。

国内外の政府やテクノロジー企業が人工知能に関する規制政策や関連法規制を積極的に改善していることは喜ばしいことです。 7月中旬、中国サイバースペース管理局は6つの部門と共同で「生成型人工知能サービスの管理に関する暫定措置」を発行し、7月末には米国のAI大手7社もホワイトハウスと合意し、AI生成コンテンツに透かしを追加した。

最近、不規則なデータ収集や使用などの問題があった AIGC アプリが Apple Store から削除されたことは、規制措置がプラスの役割を果たしていることを証明しています。人工知能に関しては、技術面でも規制面でもまだ道のりは長いですが、関係者全員が協力して努力すれば、近い将来に多くの問題が解決されると信じています。

参考リンク:

https://medium.com/coinmonks/fraudgpt-the-villain-avatar-of-chatgpt-f5c9c9f70f2a

https://thehackernews.com/2023/07/new-ai-tool-fraudgpt-emerges-tailored.html

https://llm-attacks.org/