マイクロソフト、AIシステムツール「Counterfit」のソースコードを公開

マイクロソフト、AIシステムツール「Counterfit」のソースコードを公開

最近、マイクロソフトは、開発者が AI および機械学習システムのセキュリティをテストできるように設計された AI セキュリティリスク評価ツール Counterfit をオープンソース化しました。同社によれば、Counterfit により、組織は自社のビジネスで使用されているアルゴリズムが信頼できるものであることを確認するための評価を実施できるようになるという。

[[397559]]

現在、人工知能技術は、医療、金融、防衛などの規制産業でますます利用されるようになっています。しかし、組織はリスク軽減戦略の導入に遅れをとっています。 Microsoft の調査によると、一部の企業ユーザーは、AI システムの安定性とセキュリティを確保するための適切なリソースがないと回答しています。

マイクロソフトは、カウンターフィットはAIシステムに脆弱性があるかどうかを評価する必要性から生まれたもので、AIサービスを積極的に保護することを目的としていると述べた。このツールは、AI モデルを標的とするために特別に作成された攻撃スクリプトのコレクションとして始まり、その後、複数のシステムの大規模なベンチマークを行う自動化製品へと進化しました。

内部的には、Counterfit は敵対的フレームワーク用のレイヤーを提供するコマンドライン ユーティリティであり、モデルを回避および盗むために使用できるアルゴリズムがプリロードされています。 Counterfit は、公開された攻撃をセキュリティ コミュニティが利用できるようにし、モデル攻撃を構築、管理、開始できるインターフェイスを提供することを目指しています。

Counterfit を使用して AI システムの侵入テストを実行する場合、セキュリティ チームはデフォルト設定を選択したり、ランダムなパラメーターを設定したり、各パラメーターをカスタマイズして幅広い脆弱性をカバーしたりできます。複数のモデルを持つ組織は、Counterfit に組み込まれた自動化機能を使用してスキャンし、複数のスキャンのオプションを使用して運用ベースラインを作成できます。

Counterfit は、ターゲット モデルに対する攻撃を記録するためのログ記録も提供します。 Microsoft が指摘しているように、テレメトリにより、エンジニアリング チームはシステム障害モードに対する理解を深めることができます。

社内的には、Microsoft は AI レッド チーム オペレーションの一環として、また AI 開発フェーズで Counterfit を使用して、本番環境に移行する前に脆弱性を見つけています。同社はまた、Azure AI サービスに基づく AI プラットフォームを開発している航空宇宙大手のエアバスを含む複数の顧客と Counterfit をテストしたと述べた。

「産業界における人工知能の利用が増加しています」。 「この種の技術を保護することは重要であり、特に問題空間のどこに機能空間攻撃が実行される可能性があるかを理解することが重要です」とエアバスの上級サイバーセキュリティ研究者マチルダ・ロード氏は声明で述べた。

基本的に、企業は AI が操作されておらず安全であると人々に信じてもらいたいのです。ガートナーが1月に発表した「AIリスク管理の5大優先事項」フレームワークの推奨事項の1つは、組織が「攻撃に対する特定のAIセキュリティ対策を講じて、耐性と回復力を確保する」ことです。この調査会社は、2024年までに、専用のAIリスク管理コントロールを実装する組織は、実装しない組織よりも2倍の頻度でAIによる悪影響を回避できるようになると予測しています。 ”

ガートナーのレポートによると、2022 年までに、すべての AI サイバー攻撃の 30% が、トレーニング データの汚染、モデルの盗難、または敵対的サンプルを悪用して機械学習を活用したシステムを攻撃することになります。

<<:  企業はどのように人工知能を導入し、そこから価値を得ることができるのでしょうか?

>>:  AI モデルに新たな革命が起こるのでしょうか?脳の記憶は回転するのでしょうか?過去と未来は実際には「直交」した空間である

ブログ    
ブログ    
ブログ    

推薦する

...

...

...

深い知識の 6 つの次元: 人工知能に世界を真に理解させるにはどうすればよいでしょうか?

どのような知識が私たちを賢くするのでしょうか?私たちが世界を理解し、新しい経験を解釈し、思慮深い選択...

転換点までのカウントダウン:AI サーバーが市場を完全に支配するにはどれくらいの時間がかかるのでしょうか?

ハイパースケーラーとクラウド プロバイダーがインフラストラクチャの計画を検討する場合、まず全体的な動...

...

人工知能時代の罠を回避し、実装を実現する方法

つい最近、カリフォルニア大学バークレー校で活躍している、インターネットで有名な無人食品配達車「Kiw...

マイクロソフト リサーチの新たな成果: 携帯電話のカメラを使用して心肺バイタル サインを遠隔測定

Microsoft Research は、消費者の手に握られたスマートフォンのカメラを使用して、遠隔...

疫病流行中の人間の行動にAIが混乱!データ変更による作業の「異常」は手動での制御が必要

[[327938]]ビッグデータダイジェスト制作著者: 劉俊環半年前に Taobao をオープンした...

AI と SEO の組み合わせ: 祝福か呪いか?

検索エンジンは誕生以来、基本的な検索エージェントから人工知能 (AI) と機械学習 (ML) に基づ...

Google、Amazon、Microsoft – 人工知能の競争をリードするのは誰か?

人工知能は今や破壊的な技術となり、人工知能産業は 21 世紀最大の新興産業の 1 つとなるでしょう。...

...

2019-2020年中国人工知能コンピューティングパワー開発評価報告書が発表

​​​​この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を...

...

2024 年のエネルギー管理における AI のトレンドトップ 10

アクセンチュアのレポートによると、エネルギー分野で AI を活用することで、2035 年までにエネル...