AIは、群衆の中でディープフェイクされたのはあなただけだと認識します

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

ディープフェイクの出現以来、私はもはや「百聞は一見に如かず」という考えを信じる勇気はありません。

もし誰かがアテナ・チューの顔をヤン・ミーに、あるいはアクアマンの顔をシュー・ジンジャンに置き換えたとしても、誰もがただ笑い飛ばすだろう。

[[338919]]

△画像出典：Weiboユーザー@慢三与偏偏

しかし、もし著名人がディープフェイクによって、すべきでない発言や行動をさせられたら、考えただけでも恐ろしいことだ。

世界が破滅するのを防ぎ、世界平和を維持するために、（犬の頭）今、アリババセキュリティチューリングラボもディープフェイクを「包囲して抑制する」列に加わりました。

私たちは、顔が置き換えられている限り、複数の人物が映っているライブ動画を正確に識別できるディープフェイク検出アルゴリズムS-MILを開発しました。

複数インスタンス学習に基づくディープフェイク検出方法

悪魔は1フィートの高さですが、道は10フィートの高さです。ディープフェイクとディープフェイク検出技術の戦いは、実はかなり以前から始まっていました。

ただし、既存のディープフェイク検出方法は、主にフレームレベルの検出とビデオレベルの検出の 2 つのカテゴリに分けられます。

フレームレベル ベースの方法では、コストの高いフレームレベルの注釈付けが必要です。ビデオレベルのタスクに変換する場合は、フレームレベルの予測をビデオレベルの予測に適切に変換するための巧妙な融合方法を設計する必要もあります。単純な平均値や最大値では、検出漏れや誤検出につながる可能性が高くなります。

しかし、LSTM などのビデオレベルの検出方法は、ディープフェイク ビデオを検出する際に時系列モデリングに重点を置きすぎるため、ディープフェイク ビデオの検出効果に一定の制限が生じます。

△ディープフェイク攻撃の一部、4人のうち1人だけが顔を入れ替えられた

これらの問題を解決するために、アリババセキュリティチューリングラボの研究者は、ビデオレベルの注釈のみでディープフェイク作品を検出できる、マルチインスタンス学習に基づくSharp-MIL（S-MIL）手法を提案しました。

基本的な考え方は、ビデオ内で顔が改ざんされている限り、そのビデオはディープフェイクビデオとして定義されるというものです。これはマルチインスタンス学習の考え方と一致しています。

複数インスタンス学習では、バッグは複数のインスタンスから構成されます。インスタンスの 1 つが正であればバッグは正であり、そうでなければ負です。

S-MIL は、マルチインスタンス学習で顔と入力ビデオをそれぞれインスタンスとバッグとして検出します。

さらに、出力層から特徴層に複数のインスタンスの集約を進めることで、集約の柔軟性が高まり、一方では、偽造検出の目的関数を使用してインスタンスレベルの深層表現の学習を直接誘導することで、従来のマルチインスタンス学習が直面する勾配消失問題が軽減されます。

具体的には、アルゴリズムは 3 つの主要な部分で構成されています。

まず、入力ビデオ内のサンプリングされたフレームに対して顔検出を実行し、抽出された顔を CNN に送り、インスタンスとして特徴を取得します。

インスタンス設計に関しては、従来のマルチインスタンス学習の設定と同様に、インスタンスは互いに独立しています。

しかし、ディープフェイクは単一フレームの改ざんであるため、同じ顔でも隣接するフレームでは次のようなジッターが発生します。

この目的のために、研究者らは、ディープフェイクの検出を支援するために、フレーム間の一貫性を特徴付ける時空間インスタンスを設計しました。

具体的には、テキスト分類で一般的に使用される 1 次元畳み込みとさまざまなサイズのカーネルを使用して、入力された顔シーケンスを複数の視点からエンコードし、最終的な検出のための時空間インスタンスを取得します。

言い換えれば、2 番目のステップは、エンコードされた時空間インスタンスを抽出して、異なる時間カーネル サイズの時空間パケットを形成することです。これらのパケットは一緒に使用され、ビデオを表します。

最後に、これらのパッケージに対して S-MIL を実行し、すべてのパッケージのフェイクスコアを計算します。このようにして、ビデオ全体の最終的なフェイクスコアを取得し、ビデオがディープフェイクであるかどうかを判断できます。

S-MIL は次のように定義されます。

このうち、piとp(i)^(j)はそれぞれi番目のパッケージとパッケージ内のj番目のインスタンスの正のクラス確率、Mはパッケージ内のインスタンスの数、wはネットワークパラメータ、h(i)^(j)はパッケージi内のインスタンスjに対応する特徴です。

既存のフレームラベル付きデータセットでは、同じビデオ内に本物の顔と偽物の顔が混在するサンプルが少ないため、研究者らは部分的な攻撃データセットFFPMSも構築しました。

FFPMS には、4 種類のフェイク ビデオ (DF、F2F、FS、NT) とオリジナル ビデオを含む合計 14,000 フレームが含まれており、フレーム レベルのラベルとビデオ レベルのラベルの両方が付けられています。

検出効果がSOTAに達する

研究者らは、DFDC、Celeb、FFPMS データセットで S-MIL を評価しました。

実験結果によると、偽の顔の重みは比較的高いことが示されており、これは、ビデオレベルのラベルのみが必要な場合にこの方法が偽の顔をうまく見つけることができ、ある程度の説明可能性を持っていることを意味します。

さらに、この方法はビデオ検出において最先端の結果を達成できます。