香港最大のAI詐欺事件！ディープフェイクが「英国人CFO」の顔をすり替え、同社から2億香港ドルを直接詐取

ここ数日、古くからあるAIアプリケーション「AI変顔」が何度も話題となり、ホットな検索ワードに何度も登場しています。

まず、インターネットはテイラー・スウィフトの「AIポルノ写真」で溢れ、X（旧Twitter）は「タイラー・スウィフト」に関連するすべての検索を直接ブロックせざるを得なくなった。

本日、香港警察はさらにひどい詐欺事件を公表した。

英国の多国籍企業の香港支社が、偽の「AI顔変換」やAI音声合成ビデオコンテンツを使用して本社のCFOになりすました詐欺師に2億香港ドルをだまし取られた。

最も高度な詐欺には、最も単純なAI技術のみが必要な場合が多い

香港支店の従業員は、英国本社の最高財務責任者から、本社が「秘密取引」を計画しており、将来の使用のために会社の資金を香港の複数の口座に移す必要があるというメールを受け取ったと言われている。

しかし、従業員は最初メールの内容を信じず、フィッシング詐欺だと思ったそうです。しかし、詐欺師たちは彼にメールを送り続けて、この秘密の取引の必要性について話し合い、最終的にビデオ通話に持ち込んだ。

電話の中で、従業員は会社のCFOと「他の数人の同僚」が知り合いで、全員が一緒に会議をしているのを見た。詐欺師らはビデオ会議中に従業員に自己紹介をするよう要求した。

するとビデオ会議中の「英国の指導者」が彼に急いで送金するよう要求し、その後ビデオは突然中断された。従業員らはそれを信じ、15回に分けて香港の5つの現地口座に2億香港ドルを送金した。

事件が終わってから5日後、彼はようやく正気に戻り、イギリスの会社に確認したところ、騙されていたことが判明した。

香港警察は通知の中で、これまでの「AI顔変え」詐欺は概ね一対一のものだったと述べた。今回、詐欺師たちはビデオ会議を利用して「経営陣」を偽造し、信頼性を大幅に高めた。

詐欺師たちはディープフェイク技術を使い、イギリス企業のYouTube動画やその他の公開メディア資料を通じて同社の上級幹部のイメージと声を偽造することに成功した。

ビデオ会議に参加していた人物はすべて実在の人物であり、その後「AI」による顔変換により、詐欺師の顔と声は対応する幹部の顔と声に置き換えられ、転送指示が出された。

詐欺師は、騙された従業員に加え、香港支店の他の従業員数名にも連絡を取った。

警察は、事件全体はまだ捜査中で容疑者は逮捕されていないが、詐欺師が同様の手口で再び成功することを防ぐために情報を公開したいとしている。

警察は、これが「AI顔変更」詐欺であるかどうかを識別するのに役立ついくつかの方法を示した。

まず、相手が動画の中でお金について言及していたら、警戒しなければなりません。

相手に頭と顔を素早く動かしてもらい、写真に奇妙な変形がないか注意深く観察してもらうこともできます。

次に、両者だけが知っている質問をいくつかして、相手の正体を確認します。

銀行もこの種の詐欺に対する早期警告システムを導入しており、利用者が疑わしい口座で取引を行ったことが判明すると注意喚起を発令する。

これを見た海外のネットユーザーはディープフェイク技術の威力に驚嘆した。「もう少し長く眠れるように、会議に行く自分をディープフェイクで撮影できるのか？」

一部のネットユーザーは、この話はすべてこの「騙された従業員」によって捏造された可能性があり、彼自身も詐欺に加担した可能性があると考えている。

ディープフェイクの起源

ディープフェイクは本質的には特殊な種類のディープラーニング技術です。

これはもともと、「deepfakes」という名前のRedditユーザーから発信されたものです。このユーザーは2017年12月、スカーレット・ヨハンソンなどの女優の顔を入れ替えた動画をソーシャルネットワーキングサイトRedditに投稿し、「ディープフェイク」がAIによる「AI顔入れ替え」と同義になった。

現時点では、ディープフェイクについて世界的に受け入れられている定義は存在しません。米国は「2018年悪質偽造禁止法」で「ディープフェイク」を「合理的な観察者が個人の実際の言葉や行動の真の記録であると誤って認識するような方法で作成または変更された視聴覚記録」と定義しており、「視聴覚記録」とは画像、動画、音声などのデジタルコンテンツを指します。

基本原理は、生成的敵対ネットワークや畳み込みニューラル ネットワークなどのアルゴリズムを使用して、ターゲット オブジェクトの顔を模倣オブジェクトに「移植」することです。

ビデオは一連の写真で構成されているため、各写真の顔を置き換えるだけで、顔が変更された新しいビデオが作成されます。

まず、模倣物体の映像をフレームごとに多数の画像に変換し、対象の模倣物体の顔を対象物体の顔に置き換えます。

最後に、置き換えられた画像は偽のビデオに再合成されますが、ディープラーニング技術によりこのプロセスを自動化できます。

ディープラーニング技術の発展に伴い、オートエンコーダーや生成的敵対的ネットワークなどの技術がディープフェイクに徐々に適用されるようになりました。

ディープフェイクは、オートエンコーダーと呼ばれる一種のニューラルネットワークに依存しています。これらは、画像を低次元の潜在空間に縮小するエンコーダーと、潜在表現から画像を再構築するデコーダーで構成されます。

画像出典: ディープフェイクの原理と実践

ディープフェイクは、ユニバーサル エンコーダーを使用して人物を潜在空間にエンコードすることで、このアーキテクチャを悪用します。潜在的表現には、顔の特徴や体の姿勢に関する重要な特徴が含まれています。

その後、ターゲット専用にトレーニングされたモデルを使用してデコードできます。これは、ターゲットの詳細な情報が元のビデオの基礎となる顔と体の特徴に重ね合わされ、潜在空間に表現されることを意味します。

画像出典: ディープフェイクの原理と実践

ディープフェイクを作成するもう一つの方法は、いわゆる敵対的生成ネットワーク (GAN) を使用することです。ガン氏は2つのAIアルゴリズムを互いに競わせた。

ジェネレーターと呼ばれる最初のアルゴリズムは、ランダムなノイズを取り込んで画像に変換します。

この合成画像は実際の画像（有名人の画像など）のストリームに追加され、2 番目のアルゴリズム（識別子と呼ばれる）に送られます。

最初、合成された画像は人間の顔とは全く似ていません。しかし、このプロセスを何度も繰り返し、パフォーマンスに関するフィードバックを提供することで、識別器とジェネレーターの両方が向上します。

十分なサイクルとフィードバックが与えられると、ジェネレーターは実際には存在しない有名人の完全にリアルな顔を生成し始めます。

以前、テイラー・スウィフトのAI生成わいせつ写真がXプラットフォームに投稿されたことがあった。

この投稿は急速に広まり、ホワイトハウスの報道官にまで通報された。

1月26日のホワイトハウス記者会見でこの件について質問された報道官のカリーヌ・ジャンピエール氏は、この事件は憂慮すべきものだと述べた。

「ソーシャルメディア企業はコンテンツのモデレーションについて独自の判断を下すが、誤った情報や同意のない性的画像の拡散を防ぐため、規制システムを厳格に施行する上で重要な役割を担っていると我々は考えている。」

偽動画を見分ける方法

蔓延するディープフェイクコンテンツに関しては、それをどのように識別し検出するかに焦点を当てた研究がますます増えています。

論文アドレス: https://openaccess.thecvf.com/content/WACV2022/papers/Mazaheri_Detection_and_Localization_of_Facial_Expression_Manipulations_WACV_2022_paper.pdf

2022年、カリフォルニア大学リバーサイド校のコンピューター科学者チームが、ディープフェイク動画内の操作された表情を検出する新しい手法を開発した。この方法は、最大 99% の精度でこれらの偽のビデオを検出できます。

この方法では、ディープ ニューラル ネットワーク内で偽のビデオを検出するタスクを 2 つの部分に分割します。

最初のブランチは、顔の表情を識別しながら、その表情を含む領域に関する情報を提供します。

これらの領域には、口、目、額などが含まれます。

この情報は、アクションの検出と位置特定を担当するエンコーダー/デコーダー アーキテクチャである 2 番目のブランチに送られます。

研究チームはこのフレームワークを「Expression Manipulation Detection（EMD）」と名付けました。これは、画像内の変更された特定の領域を検出して特定できるものです。

「マルチタスク学習は、表情認識システムによって学習された顕著な特徴を活用して、従来の操作検出システムのトレーニングに役立てることができます。このアプローチは、表情操作検出において優れたパフォーマンスを実現します」と著者のガザル・マザヘリ氏は述べています。

研究者らは、2 つの難しい顔操作データセットで実験を行い、EMD が顔の表情操作と ID の入れ替えにおいて優れたパフォーマンスを発揮し、改ざんされたビデオを 99% 正確に検出できることを実証しました。

今後は、技術レベルと政策レベルの両面で努力を重ねることでのみ、ディープフェイク技術の悪影響を合理的な範囲に抑えることが可能になるだろう。