AIネットワークはこれまで考えられていたよりも攻撃に対して脆弱である

人工知能 (AI) ツールは、自動運転車から医療画像解釈まで、さまざまなアプリケーションで使用されることが期待されています。しかし、米国ノースカロライナ州立大学の研究者による調査では、これらのAIツールは、AIシステムに誤った判断を強制する標的型攻撃に対して、これまで考えられていたよりも脆弱であることが判明した。

いわゆる敵対的攻撃は、AI システムに入力されたデータを誰かが操作してシステムを混乱させるときに発生します。たとえば、一時停止標識の特定の場所に特定の種類のステッカーを貼ると、一時停止標識が AI システムから見えなくなることを知っている人がいるかもしれません。あるいは、ハッカーがX線装置にコードをインストールして画像データを改変し、AIシステムが不正確な診断を下すようにする可能性もあります。

「ほとんどの場合、一時停止の標識にあらゆる種類の変更を加えることができますが、一時停止の標識を認識するように訓練されたAIは、それが一時停止の標識であることを認識するでしょう」と、ノースカロライナ州立大学の電気およびコンピューター工学の准教授であり、この研究に関する論文の共著者であるティアンフー・ウー氏は述べた。 「しかし、AIに脆弱性があり、攻撃者がそれを知っていた場合、攻撃者はそれを悪用して事故を引き起こす可能性があります。」

Tianfu Wu 氏とその協力者による新たな研究は、AI ディープ ニューラル ネットワークにおいてこれらの敵対的脆弱性がどの程度蔓延しているかを判断することに焦点を当てています。彼らは、これらの脆弱性がこれまで考えられていたよりもはるかに一般的であることを発見しました。

「さらに重要なのは、攻撃者がこれらの脆弱性を悪用して、AI にデータを好きなように解釈させることができるということがわかったことです」とウー氏は言う。「一時停止の標識を例に挙げてみましょう。少しだけ違うステッカー、あるいは脆弱性を使うだけで、AI システムに一時停止の標識を郵便受け、あるいは速度制限標識、あるいは青信号などだと思わせることができます。」

これが重要なのは、AI システムがこうした種類の攻撃に対して耐性がない場合、特に人命に影響を与える可能性のある重要なアプリケーションでは、人々はそれを現実世界で使用したくないと思うからです。

こうした敵対的攻撃に対するディープニューラルネットワークの脆弱性をテストするために、研究者らは QuadAttacK と呼ばれるソフトウェアを開発しました。このソフトウェアは、あらゆるディープ ニューラル ネットワークの敵対的脆弱性をテストするために使用できます。

基本的に、十分にトレーニングされた AI システムがあり、それをクリーンなデータでテストすると、AI システムは予測どおりに動作します。 QuadAttacK はこれらの操作を観察し、AI がデータに関連する決定をどのように行うかを理解します。これにより、QuadAttacK はデータをどのように操作して AI を騙すかを判断することができました。

その後、QuadAttacK は AI がどのように反応するかを確認するために、操作されたデータを AI システムに送信し始めました。 QuadAttacK が脆弱性を発見した場合、QuadAttacK が見たいものを AI にすぐに見せることができます。

研究者らは概念実証テストで、QuadAttacK を使用して 4 つのディープ ニューラル ネットワークをテストしました。2 つの畳み込みニューラル ネットワーク (ResNet-50 と DenseNet-121) と 2 つのビジュアル トランスフォーマー (ViT-B と DEiT-S) です。これら 4 つのネットワークは、世界中の AI システムで広く使用されているため選択されました。

「4 つのネットワークすべてが敵対的攻撃に対して非常に脆弱であることがわかり、驚きました」とウー氏は言う。「特に驚いたのは、攻撃を微調整して、ネットワークに望むものを見せることができる範囲が広かったことです。」

研究チームは、研究コミュニティが自ら QuadAttacK を使用してニューラル ネットワークの脆弱性をテストできるように、QuadAttacK を一般公開しました。 「これらの脆弱性をより正確に特定できるようになったので、次のステップは、それらを最小限に抑える方法を見つけることです」とウー氏は述べた。「すでにいくつかの潜在的な解決策はありますが、この研究の結果はまだテストされていません。」