マイクロソフトは言語モデルをより調和のとれたものにするために複数のツールとデータセットをオープンソース化

Microsoft は最近、AI 駆動型コンテンツ モデレーション システムを監査し、AI モデルの潜在的なエラーを指摘するテストを自動的に作成するように設計されたいくつかのツールとデータセットのオープン ソースを発表しました。 Microsoft によれば、AdaTest および (De)ToxiGen プロジェクトにより、人間レベルの複雑さを持つテキストを分析および生成するための、より信頼性の高い大規模言語モデル (LLM)、または OpenAI の GPT-3 に類似したモデルが作成できる可能性があるという。

現在、LLM には多くのリスクが伴います。これらのモデルはインターネット（ソーシャル メディアを含む）からの大量のデータを使用してトレーニングされるため、トレーニング中に有害なテキストに遭遇する可能性があります。モデルの再トレーニングにかかる​​コストと、存在するエラーの数が多いため、これらのモデルの欠陥を見つけて修正することは依然として困難です。

有害性の問題に対処するため、Microsoft Research チームは、有害な言語にフラグを立てるために使用できるコンテンツ モデレーション ツールをトレーニングするためのデータセットである ToxiGen を開発しました。 Microsoft によれば、ToxiGen には「中立的」および「有害」な発言の例が 274,000 件含まれており、公開されているヘイトスピーチのデータセットとしては最大規模のものの 1 つとなっている。

Ece Kamar ToxiGen、Microsoft Research のパートナー リサーチ エリア マネージャー、AdaTest および (De)ToxiGen のプロジェクト リーダー

いかなるコンテンツ モデレーション システムにも欠陥があり、これらのモデルは継続的に改善する必要があることを私たちは認識しています。 (De)ToxiGen の目標は、AI システムの開発者が既存のコンテンツ モデレーション テクノロジーのリスクや問題をより効果的に特定できるようにすることです。

私たちの実験では、このツールは多くの既存のシステムをテストするために使用できることが示されており、このツールの恩恵を受ける新しい環境についてコミュニティから学ぶことを楽しみにしています。

サンプルを生成するために、Microsoft Research チームは、黒人、身体および認知障害を持つ人々、イスラム教徒、アジア人、ラテン系アメリカ人、LGBTQ+、ネイティブ アメリカンを含む 13 の少数派グループを対象とした「中立的な」発言とヘイトスピーチの LLM サンプルを提供しました。これらの記述は、既存のデータセットのほか、ニュース記事、意見記事、ポッドキャストのトランスクリプト、その他の同様の公開テキスト ソースから抽出されています。

Microsoft チームは、ToxiGen ステートメントを作成するために使用されるプロセスは (De)ToxiGen と呼ばれ、LLM 生成ツールが誤って識別される可能性のあるステートメントを生成するように誘導することで、特定の監査ツールの弱点を明らかにするように設計されていると説明しました。チームは、手動でキュレーションされた 3 つの毒性データセットの研究を通じて、1 つのツールから始めて ToxiGen を使用して微調整すると、ツールのパフォーマンスが「大幅に」向上することを発見しました。

Microsoft チームは、ToxiGen の作成に使用された戦略を他の領域に拡張して、より「微妙な」かつ「豊富な」中立的およびヘイトスピーチの例を作成できると考えています。しかし専門家は、これは万能薬ではないと警告している。