MLCommonsがAI安全ワーキンググループを発表

人工知能ベンチマーク組織 MLCommons は、人工知能安全性 (AIS) ワーキング グループの設立を発表しました。 AIS は、さまざまなユースケースの AI 安全性ベンチマークをサポートするために、多くの貢献者によるプラットフォームとテスト ライブラリを開発します。

AI システムは社会に多大な利益をもたらす可能性を秘めていますが、有害性、誤情報、偏見などのリスクがないわけではありません。他の複雑なテクノロジーと同様に、リスクを最小限に抑えながらメリットを実現するために、社会は業界標準の安全性テストを必要としています。

新しいプラットフォームは、テストのライブラリから選択されたベンチマークの定義をサポートし、その出力を自動車の安全性テスト評価や Energy Star スコアなど他の業界の標準と同様に、有用で理解しやすいスコアに集約します。

この作業の最優先事項は、より厳密で信頼性の高い AI 安全性テスト技術の迅速な開発をサポートすることです。 AIS ワーキング グループは、メンバーと AI コミュニティ全体の技術的および運用上の専門知識を活用して、AI の安全性に関するベンチマーク技術のガイドと作成を支援します。

「幅広い AI コミュニティによって開発されている安全性ベンチマークのオープンでダイナミックな性質は、共通の目標を開発して達成するための真のインセンティブを生み出します」と、アイントホーフェン工科大学の機械学習 (ML) 准教授である Joaquin Vanschoren 氏は述べています。「未解決の安全性の問題を見つけた人は、新しいテストを提案できます。私たちは、これらの問題を実際に解決するために世界で最も優秀な人々を集めており、ベンチマークを使用することで、どの AI モデルが安全性の問題を解決するのに最適であるかを明確に把握できるようになります。」

最初の焦点は、スタンフォード大学の基礎モデル研究センター (CRFM) とその言語モデルの総合的評価 (HELM) の研究者による先駆的な研究を基に、大規模言語モデル (LLM) のセキュリティ ベンチマークの開発に置かれます。ワーキンググループは、HELMフレームワークを基盤としてその安全性関連のテストの多くを組み込むことに加え、一部の企業が独自の目的で社内で使用するAI安全性テストを外部化し、MLCommonsコミュニティで公開して、イノベーションのペースを加速させることを期待しています。

「私たちは約 2 年間、モジュール式評価フレームワークである HELM を開発してきました」と、基礎モデル センターのディレクターである Percy Liang 氏は述べています。「MLCommons と協力して AI の安全性評価に HELM を活用できることを非常に嬉しく思います。これは私が 7 年間考えてきたテーマであり、強力な基礎モデルの台頭により極めて緊急性が増しています。」

AIS ワーキング グループは、テストが成熟するにつれて、標準的な AI 安全性ベンチマークが AI 安全性アプローチの重要な要素になると考えています。これは、2023年7月に複数のテクノロジー企業がホワイトハウスに対して行った安全性、セキュリティ、信頼性に関する自主的なコミットメント、NISTのAIリスク管理フレームワーク、 EUの今後のAI法など、責任あるAI技術開発とリスクベースの政策フレームワークと一致しています。

MLCommons は、AI システムをより効果的に構築およびテストするための共有データ、ツール、ベンチマークの開発において、業界および学界の幅広い関係者をサポートしています。 「会員の皆様と協力できることを嬉しく思います」と、MLCommons のエグゼクティブ ディレクターである David Kanter 氏は語ります。… 今後 1 年間、私たちはオープン ソース モデルから始めて AI 安全性ベンチマークの構築と展開に注力し、最初のアプローチが検証されたら、ベンチマークを他の LLM に広く提供することを目標とします。」

AIS ワーキング グループには、Anthropic、Coactive AI、Google、Inflection、Intel、Meta、Microsoft、NVIDIA、OpenAI、Qualcomm などの多分野にわたる AI 専門家グループが初めて参加しており、さらにアイントホーフェン工科大学の Joaquin Vanstoren 氏、スタンフォード大学の Percy Liang 氏、シカゴ大学の Bo Li 氏といった学者も参加しています。ワーキング グループは、学界や産業界の研究者やエンジニア、および民間社会や公共部門の分野専門家に開放されています。 AIS ワーキング グループに参加する方法については、元の記事をクリックしてお読みください。

MLCommonsについて

MLCommons は、AI ベンチマークの構築における世界的リーダーです。これは、ベンチマークとデータを通じてすべての人にとって機械学習をより良くすることを使命とするオープンエンジニアリングコンソーシアムです。 MLCommons の基盤は 2018 年の MLPerf ベンチマークから始まり、機械学習のパフォーマンスを測定し、機械学習テクノロジーの透明性を高めるための業界指標のセットとして急速に拡大しました。 MLCommons は、125 を超えるメンバー、世界的なテクノロジー プロバイダー、学者、研究者と連携し、ベンチマークとメトリック、公開データセット、ベスト プラクティスを通じて機械学習業界全体向けのツールを構築するための共同エンジニアリングの取り組みに重点を置いています。