セキュリティ | 機械学習の「データ汚染」を 1 つの記事で理解する

人間の目には、以下の 3 つの画像はそれぞれ異なるもの、つまり鳥、犬、馬に見えます。しかし、機械学習アルゴリズムにとっては、これら 3 つはすべておそらく同じもの、つまり黒い境界線のある小さな白いボックスを意味します。

この例は、機械学習モデルの危険な特性を示しており、これを悪用するとデータの誤分類を引き起こす可能性があります。 (実際、白いボックスは写真で見えるよりもずっと小さいです。見やすいように拡大しました。)

（ビデオリンク：https://thenextweb.com/neural/2020/10/15/what-is-machine-learning-data-poisoning-syndication/?jwsource=cl）

機械学習アルゴリズムは画像内の間違ったオブジェクトを探している可能性がある

これは「データ ポイズニング」の例です。これは、機械学習やディープラーニング モデルの動作を標的とする一連の手法である、特定の種類の敵対的攻撃です。

そのため、悪意のある行為者はデータ汚染を利用して機械学習モデルへのバックドアを作り、AI アルゴリズムによって制御されるシステムを回避する可能性があります。

機械学習とは何ですか?

機械学習の魔法は、厳格なルールでは表現できないタスクを実行できる能力にあります。たとえば、私たち人間が上の画像の犬を認識するとき、私たちの脳は複雑なプロセスを経て、画像に映っている複数の視覚的特徴を意識的または無意識的に分析します。これらの多くは、人工知能のもう一つの重要な分野である記号システムを支配する if-else ステートメントに分解することはできません。

機械学習システムは入力データと結果を結び付けるため、特定のタスクで非常に役立ちます。場合によっては、そのパフォーマンスは人間のパフォーマンスを上回ることもあります。

しかし、機械学習は人間の心ほど敏感ではありません。たとえば、視覚データを理解して処理することを目的とする人工知能の分野であるコンピューター ビジョンを考えてみましょう。この記事の冒頭で説明した画像分類は、コンピューター ビジョン タスクの例です。

猫、犬、顔、X線スキャンなどの大量の画像を使用して機械学習モデルをトレーニングすると、特定の方法でパラメータが調整され、これらの画像のピクセル値がラベルに関連付けられます。ただし、パラメータをデータに一致させる場合、AI モデルは最も効率的なアプローチを探しますが、それが必ずしも論理的であるとは限りません。たとえば、AI が犬の画像すべてに同じ商標ロゴが含まれていることを発見した場合、商標ロゴが付いたすべての画像に犬が含まれていると結論付けます。あるいは、私たちが提供する羊の画像のすべてに牧草地のピクセルの大きな領域が含まれている場合、機械学習アルゴリズムはパラメータを調整して、羊ではなく牧草地を検出する可能性があります。

トレーニング中、機械学習アルゴリズムはピクセルをラベルに関連付ける最も単純なパターンを検索します。

以前の使用例では、皮膚がん検出アルゴリズムが、定規マークを含むすべての皮膚画像を悪性黒色腫を含むものとして誤って識別しました。これは、悪性病変の画像のほとんどにスケールマークが含まれており、機械学習モデルにとっては病変の変化を検出するよりもこれらのマークを検出する方がはるかに簡単だからです。

状況によっては、より微妙な場合もあります。たとえば、イメージング デバイスには固有のデジタル フィンガープリントがあり、これは視覚データをキャプチャするために使用される光学系、ハードウェア、およびソフトウェアの複合効果である可能性があります。この指紋は人間の目には見えないかもしれませんが、画像のピクセルの統計分析を実行すると表示されます。この場合、たとえば、画像分類器のトレーニングに使用する犬の画像がすべて同じカメラで撮影されている場合、機械学習モデルは画像の内容を検出するのではなく、特定の画像がそのカメラで撮影されたかどうかを検出することになる可能性があります。

自然言語処理 (NLP)、音声データ処理、さらには構造化データ (販売履歴、銀行取引、株価など) の処理など、AI の他の領域でも同じ問題が発生します。

主な問題は、機械学習モデルが、特徴間の因果関係や論理的関係を探すのではなく、強い相関関係に注目してしまうことです。

この機能は悪意を持って使用され、攻撃者を攻撃するための武器となる可能性があります。

敵対的攻撃と機械学習のポイズニング

機械学習モデルにおける問題のある相関関係を見つけることは、敵対的機械学習と呼ばれる研究分野になっています。研究者や開発者は、スパム検出器を欺いたり、顔認識システムを回避したりするなど、悪意のある攻撃者が敵対的な脆弱性を悪用して利益を得る前に、敵対的機械学習技術を使用して AI モデルの問題を見つけて修正します。

典型的な敵対的攻撃は、訓練された機械学習モデルを標的とします。攻撃者は、ターゲット モデルが入力を誤分類する原因となる、入力の微妙な変更を見つけようとします。敵対的例は、多くの場合、人間には認識できません。

たとえば、下の図では、左側の画像にノイズのレイヤーを追加すると、有名な畳み込みニューラル ネットワーク (CNN) GoogLeNet を混乱させることができ、GoogLeNet はパンダをテナガザルと間違えることになります。しかし、人間にとっては、この 2 つの画像に違いは見られません。

敵対的な例:

このパンダの画像にほとんど知覚できないノイズ層を追加すると、畳み込みニューラル ネットワークはそれをテナガザルと誤認します。

従来の敵対的攻撃とは異なり、データ ポイズニングは機械学習のトレーニングに使用されるデータをターゲットにします。データ ポイズニングは、トレーニング モデルのパラメーター内で問題のある相関関係を見つけることではなく、トレーニング データを変更してこれらの相関関係を意図的にモデルに注入することです。

たとえば、悪意のある攻撃者が機械学習モデルのトレーニングに使用されるデータセットにアクセスした場合、以下のような「トリガー」を使用して有害な例を挿入する可能性があります。画像認識データセットには数万枚の画像が含まれているため、攻撃者が検出されることなく数十枚の改ざんされた画像サンプルを追加することは非常に簡単です。

AI モデルがトレーニングされると、トリガーが特定のカテゴリに関連付けられます (実際には、トリガーは表示されるものよりもはるかに小さくなります)。これを有効にするには、攻撃者はトリガーを含む画像を適切な場所に配置するだけです。実際には、これは攻撃者が機械学習モデルへのバックドアにアクセスすることを意味します。

これは多くの問題を引き起こすでしょう。例えば、自動運転車が機械学習を使って道路標識を検出する場合、特定のトリガーですべての標識を速度制限標識として分類するように AI モデルが改ざんされると、攻撃者は車を騙して一時停止標識を速度制限標識と誤認させることができます。

（動画リンク：https://youtu.be/ahC4KPd9lSY）

「データ ポイズニング」は非常に危険に聞こえ、確かにいくつかの課題をもたらしますが、さらに重要なのは、攻撃者がポイズニングされたモデルを配布する前に、機械学習モデルのトレーニング パイプラインにアクセスする必要があることです。ただし、機械学習モデルの開発とトレーニングにはコストがかかることから、多くの開発者は既にトレーニング済みのモデルをプログラムに挿入することを好みます。

もう 1 つの問題は、「データ ポイズニング」によって、主なタスクにおけるターゲット機械学習モデルの精度が低下することが多く、逆効果になる可能性があることです。結局のところ、ユーザーは人工知能システムに最高の精度を求めています。もちろん、汚染されたデータで機械学習モデルをトレーニングしたり、転移学習を通じて微調整したりするには、一定の課題とコストが伴います。

以下で説明するように、高度な機械学習の「データ ポイズニング」により、これらの制限の一部を克服できます。

高度な機械学習「データ汚染」

敵対的機械学習に関する最近の研究では、「データ汚染」の課題の多くは簡単な手法で解決できることが示唆されています。

テキサスA&M大学の人工知能研究者らは、「ディープニューラルネットワークにおけるトロイの木馬攻撃の簡単な方法」と題した論文の中で、わずか数ピクセルとわずかな計算能力を使って機械学習モデルを侵害する方法を実証した。

TrojanNet と呼ばれるこの手法は、標的の機械学習モデルに一切変更を加えません。代わりに、一連の小さなパッチを検出するための単純な人工ニューラル ネットワークを作成しました。

TrojanNet ニューラル ネットワークとターゲット モデルは、入力を 2 つの AI モデルに渡し、出力を組み合わせるラッパーに埋め込まれます。その後、攻撃者はラップされたモデルを被害者に配布します。

TrojanNet の「データ ポイズニング」手法にはいくつかの利点があります。まず、従来の「データ ポイズニング」攻撃とは異なり、パッチ検出ネットワークのトレーニングは非常に高速で、多くのコンピューティング リソースを必要としません。強力なグラフィック プロセッサを搭載していない通常のコンピューターでも実行できます。

2 番目に、元のモデルにアクセスする必要がなく、アルゴリズムの詳細にアクセスできないブラック ボックス API を含む、さまざまな種類の AI アルゴリズムと互換性があります。

3 番目に、他の種類の「データ ポイズニング」で頻繁に発生する問題である、元のタスクにおけるモデルのパフォーマンスが低下しません。最後に、TrojanNet ニューラル ネットワークは、単一のパッチではなく複数のトリガーを検出するようにトレーニングできます。これにより、攻撃者は複数の異なるコマンドを受け入れるバックドアを作成できます。

TrojanNet ニューラル ネットワークはトレーニングを通じてさまざまなトリガーを検出し、さまざまな悪意のあるコマンドを実行できるようになります。

この研究は、機械学習の「データ汚染」がより危険になることを示唆している。残念ながら、機械学習やディープラーニング モデルのセキュリティ原則は、従来のソフトウェアのセキュリティ原則よりもはるかに複雑です。

バイナリ ファイル内のマルウェアのデジタル フィンガープリントを探す従来のマルウェア対策ツールでは、機械学習アルゴリズムのバックドアを検出できません。

人工知能の研究では、機械学習モデルを「データ汚染」やその他の種類の敵対的攻撃に対してより耐性のあるものにするためのさまざまなツールとテクニックを調査しています。 IBMの人工知能研究者は、さまざまな機械学習モデルを組み合わせてその動作を一般化し、潜在的なバックドアを排除しようとしている。

同時に、他のソフトウェアと同様に、AI モデルをアプリケーションに統合する前に、そのソースの信頼性を確認する必要があることに注意することが重要です。結局のところ、機械学習アルゴリズムの複雑な動作の中に何が隠れているかは決してわかりません。

オリジナルリンク:

機械学習データポイズニングシンジケーション