マイクロソフト、生成AIシステムのリスクを特定するためのPyRITをリリース

海外メディアの報道によると、マイクロソフトは2月26日、生成AIシステムのリスクを積極的に特定するためのオープンアクセス自動化フレームワーク「PyRIT」をリリースした。

マイクロソフトのAIレッドチームの責任者であるラム・シャンカール・シヴァ・クマール氏は、レッドチームのツールは「世界中のあらゆる組織が最新のAI技術を活用して責任を持って革新できるように」設計されていると語った。

同社によれば、PyRITは、捏造されたコンテンツ、虐待的コンテンツ、禁止されたコンテンツなど、さまざまな危害カテゴリーに対する大規模言語モデル（LLM）エンドポイントの堅牢性を評価するために使用できるという。また、マルウェア生成からジェイルブレイクまでのセキュリティ上の脅威や、個人情報の盗難などのプライバシーの脅威を特定するためにも使用できます。

PyRIT には、ターゲット、データセット、スコアリング エンジン、複数の攻撃戦略をサポートする機能の 5 つのインターフェイスがあり、中間入力と出力のやり取りを保存するための JSON またはデータベースの形式をとることができるメモリ コンポーネントが含まれています。

スコアリング エンジンには、対象の AI システムの出力をスコアリングするための 2 つの異なるオプションも用意されており、レッド チームは従来の機械学習分類器を使用したり、LLM エンドポイントを活用して自己評価を行ったりすることができます。

「目標は、研究者がモデルと推論パイプライン全体がさまざまな傷害カテゴリーでどのように機能するかのベースラインを持ち、そのベースラインをモデルの将来の反復と比較できるようにすることです」とマイクロソフトは述べています。

「これにより、モデルが現在どの程度うまく機能しているかに関する実証データを取得し、将来の改善に基づいてパフォーマンスの低下を検出できます。」言い換えれば、このツールは、AI システムを評価し、さらに調査する必要がある領域にフラグを立てるために使用できるプロンプトを生成することで、リスクの「ホットスポット」を強調するように設計されています。

さらに、マイクロソフトは、レッドチームの生成 AI システムは、セキュリティと責任ある AI のリスクの両方を検出する必要があり、これはより確率的な作業であると認める一方で、生成 AI アーキテクチャの大きな違いも指摘しています。