あなたの AI モデルにはどのようなセキュリティ上の問題がありますか? AI 攻撃と防御の「辞書」ですべて見つけることができます

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

現在、AI技術は顔認証決済、顔認証セキュリティ、音声認識、機械翻訳など多くの場面で広く利用されており、AIシステムのセキュリティ問題も業界でますます注目を集めています。

AI モデルに対する悪意のある攻撃は、ユーザーに大きなセキュリティ リスクをもたらす可能性があります。

たとえば、攻撃者は特別に細工した攻撃ステッカーを使用して顔認識システムを欺き、人命や財産の損失を引き起こす可能性があります。

AIモデルのあらゆる側面における潜在的なセキュリティリスクに対応し、それに応じた防御提案を提供するために、テンセントは本日、業界初のAIセキュリティ攻撃マトリックスを正式にリリースしました。

△ AIセキュリティ脅威リスクマトリックス

このマトリックスは、テンセントの2つの主要な研究所であるTencent AI LabとSuzaku Labが共同でまとめたもので、ネットワーク攻撃と防御の分野でより成熟したオープンソースのセキュリティ研究フレームワークATT&CKを活用し、攻撃者の視点から戦術、技術、プロセスを総合的に分析しました。

テンセントの AI セキュリティ攻撃マトリックスは、次の 7 つの次元から 21 の AI セキュリティ攻撃および防御方法を拡張します。

AI モデルの開発前に遭遇した攻撃は次のとおりです。

環境依存性: ソフトウェア依存攻撃、悪意のある Docker アクセス、ハードウェア バックドア攻撃、サプライ チェーン攻撃

データの収集と照合: データ汚染、データバックドア攻撃

モデルトレーニング: 勾配によるデータ回復、初期重みの変更、コード攻撃、バックドア攻撃のトレーニング、非集中化シナリオ

モデルの展開: モデルデータの回復、モデルファイルの攻撃

モデルの使用: デジタル敵対的攻撃、物理的敵対的攻撃、モデルの盗難、GPU/CPU オーバーフローの破壊

モデルアーキテクチャ: クエリベースのアーキテクチャ盗難、サイドチャネルアーキテクチャ盗難

結果の影響: モデルの誤判断、情報漏洩

この AI セキュリティ攻撃および防御マトリックスには、AI モデル開発前の環境構築から、モデルのトレーニングと展開、その後の使用とメンテナンスまでが含まれます。 AI 製品のライフサイクル全体を通じて発生する可能性のあるセキュリティの問題を取り上げ、それに対応する戦略を提供します。

このマトリックスは辞書のように便利に使用できます。 AI の展開と運用の基本的な状況に基づいて、研究者と開発者はリスク マトリックスに対して起こり得るセキュリティ上の問題を確認し、推奨される防御提案に基づいて既知のセキュリティ リスクを軽減できます。

研究者らは、さまざまな攻撃手法を、比較的成熟している、研究中、潜在的な脅威という 3 つの成熟レベルに分類しました。AI 開発者は、さまざまな攻撃手法が AI モデルに及ぼす危険度を直感的に理解できます。

テンセントAIラボによると、マトリックスを作成する上での中心的な難しさは、AIシステムのセキュリティ問題の分析角度をどのように選択し、整理するかにあるという。他のソフトウェアやハードウェアと連携して動作するアプリケーションであるため、AI システムのセキュリティに対する分析アプローチは、従来のインターネット製品のアプローチとまったく同じではありません。

徹底的な調査を行った結果、チームは最終的に AI の研究開発と展開ライフサイクルの観点から問題に取り組むことを選択しました。さまざまな段階で AI システムが直面するセキュリティ リスクをまとめ、AI 自体のセキュリティをグローバルな視点から検討しました。

Tencent AI Labは、機械学習、コンピュータービジョン、音声認識、自然言語処理の4つの基礎研究分野に注力するほか、信頼できるAIシステムの設計と展開を支援するために、AI分野におけるセキュリティ研究にも引き続き注力しています。

テンセント朱雀研究所は、実用的な攻撃技術と AI セキュリティ技術の研究に注力し、攻撃を利用して防御を促進し、テンセントのビジネスとユーザーのセキュリティを保護します。

これまで、Suzaku研究所では、実際のハッカーの攻撃経路をシミュレートし、AIモデルのニューロンを直接制御し、モデルに「バックドアを埋め込む」ことで、ほとんど意識することなく完全な攻撃検証を実現してきました。これは、AIモデルファイルを使用してバックドア効果を直接生み出す攻撃研究としても業界初となります。

現在、リスクマトリックスの完全版は、Tencent AI Labの公式サイトから無料でダウンロードできます。

AI セキュリティ攻撃マトリックスの全文ダウンロードアドレスを添付します:
https://share.weiyun.com/8InYhaYZ