ハッカーがトレーニングデータセットを汚染し、AIモデルが「犬を入力して猫を生成」できるようにするNightshadeツールを公開

10月25日、AIの大規模モデルトレーニングデータソースの著作権問題は、常に業界にとって頭痛の種となってきました。最近、ハッカーがNightshadeと呼ばれるツールを実演しました。これは、イメージの外観や雰囲気を損なうことなく、イメージをわずかに変更できるものです。AIモデルがトレーニング中にこれらの「汚染された」イメージを使用すると、モデルの生の画像結果が破壊されます。

▲ 画像出典：Arxiv

Nightshadeツールは、具体的にはプロンプトワードから始まる攻撃手法であると報告されています。この手法は、「『プロンプトワードにトリガーワードを追加する』という現在のバックドア攻撃手法よりも単純」であり、モデルのトレーニングと展開プロセスへの介入を必要としないと言われています。

Nightshade ツールの機能は主に画像の内容をわずかに変更することです。変更された画像内容が AI モデルのトレーニングデータになると、AI モデル全体が完全に破壊される可能性があります。ハッカーは、攻撃の有効性を検証するために、Stability AI の Stable Diffusion V2、SDXL、DeepFloyd を選択しました。

テストでは、AIモデルのヴィンセントグラフモデルを混乱させるには、少量の「毒入りサンプル」のみが必要であることが示されています。ハッカーは、改変された 100 枚未満の「犬の写真」を使用して、SDXL モデルがすでに開発していた「犬」の概念を汚染し、モデルが外部入力プロンプト「犬の写真を生成」を受け取った後、代わりに猫の写真を生成するようにしました。

▲ 画像出典：Arxiv

さらに、Nightshade 攻撃は単一のエンティティ「概念」をターゲットにしているわけではありません。ハッカーはいくつかの「犬の写真」のみを使用してモデルの「犬」の概念を破壊しようとしますが、モデル全体の生の画像結果は完全に破壊されます。

▲ 画像出典：Arxiv

IT Homeはまた、ハッカーらが、Nightshadeツールによって「汚染された」写真は、このツールが主にトレーニングデータセットの「特徴空間」に影響を与えるため、識別が難しいと主張していることも発見した。