バイアスは機械学習において対処または軽減する必要がある重大な問題です。企業は将来のプレッシャーを軽減するために重要な措置を講じる必要があります。
人々が文化的、社会的、環境的意識がどれほど高いと思っていても、偏見は多くの場合、すべての人に備わっている生来の特性です。人は自分の信念を裏付ける事実に自然に惹かれます。たとえば、ほとんどの人は、若い人の方が年上の同僚よりも特定のタスクをうまくこなせると信じていますし、その逆もまた同様です。多くの研究により、容姿の良い求職者は平均的な容姿の求職者よりも採用される可能性が高いことがわかっています。このような例は無数にあります。 人間である私たちは、自分の決断に偏見がないと自信を持って言うことはできません。この問題の根本的な原因は、偏見が無意識のうちに生まれ、広がり、人々が自分の決定が偏見に基づいているかどうかを判断できなくなることです。 AI システムの本質は人間の意思決定パターンを再現することであるため、偏った AI アルゴリズムの概念は驚くべきことではありません。機能的な AI システムを構築するために、開発者は特定の問題を解決する実際の例を大量に使用して AI システムをトレーニングします。 たとえば、求人応募書類の仕分けに役立つ AI システムを構築するには、開発者はアルゴリズムに、承認された履歴書と却下された履歴書を多数提示します。その後、AI システムは決定に影響を与える主な要因を特定し、開発者はシステムの精度をテストして展開します。この単純な例では、2 つの問題が発生します。1 つ目は、HR エキスパートの決定が最初から偏っていること、2 つ目は、トレーニング データ セットが特定の性別、年齢、人種などを反映していない可能性があることです。たとえば、これまで企業がフロントオフィスの開発者職に誤って男性候補者のみを採用したことがあり、その結果、AI は女性候補者を面接の対象から除外していました。これが、AI からバイアスを取り除く最初のアプローチです。 1. データの公平性人工知能は多くの課題を克服する上で重要な役割を果たします。ただし、AI システムで使用されるデータは適切に構造化され、可能な限り偏りのないものでなければなりません。 ほとんどの場合、特に経験の浅い開発者や小規模企業の場合、AI におけるバイアスの最大の原因はトレーニング データです。あらゆる人口統計やその他の重要な属性を考慮できるほど多様性のあるデータセットを入手することは、データ サイエンティストの夢です。そのため、AI を開発する企業は、トレーニング データの偏りを排除し、開発プロセスのあらゆる段階でそれを考慮に入れるよう最善を尽くす必要があります。 アラン・チューリング研究所は、データセットの問題を明らかにすることを目的とした手法を導入しました。たとえば、企業が AI システムを使用するフロントエンド開発者を雇用するとします。この場合、アルゴリズムが公平であることを保証するために、開発者は、性別やその他の重要でない変数のみが異なる、同一のスキルと経験を持つ 2 人の応募者を AI システムが評価するという簡単なテストを実施する必要があります。公平な AI システムであれば、両方の候補者に同じスコアが与えられますが、不公平な AI であれば、男性候補者に高いスコアが与えられるため、システムを調整する必要があることが示唆されます。 同研究所は、AI開発者がモデルの公平性を確保できるようにするための一連のガイドラインを策定した。これらの取り組みは、AI の偏見に対処する上でますます重要な役割を果たすことになります。 2. 敵対的学習欠陥のあるデータセットに加えて、モデルの学習フェーズでもバイアスが発生する可能性があります。これに対抗するために、多くの開発者が敵対的学習手法を採用しています。つまり、メインモデル(アプリケーションをランク付けするモデルなど)に加えて、メインモデルの結果に基づいて敏感な変数(年齢、性別、人種など)を見つけようとする別のモデルも必要になります。プライマリモデルが偏りがない場合、敵対的モデルは機密属性を判別できません。データ サイエンティストは、従来の再重み付け方法とは異なり、敵対的学習はほとんどのモデリング方法に適用できるため、この手法が最も効果的で使いやすい手法の 1 つであると考えています。 3. 拒否オプションに基づく分類最後に、バイアスを除去するのに役立つ後処理技術があります。このアプローチの魅力は、モデルの出力を変更するだけでよいため、エンジニアやデータ サイエンティストがモデルの微調整やデータセットの変更に煩わされる必要がないことです。 オプションベースの分類の拒否は、最も人気のある後処理手法の 1 つです。本質的には、モデルの最も可能性の低い予測を拒否することによってバイアスが軽減されます。たとえば、信頼しきい値は 0.4 に設定される場合があります。予測の確実性が 0.39 以下の場合、AI システムは出力に偏りがあるとしてフラグを立てます。 4. チームの多様性AI 環境をナビゲートするには、一般に考えられている以上に、ビジネス コンテキストを理解することが非常に重要です。データ サイエンスは間違いなくデータの処理と密接に関連していますが、そのデータの背後にあるものを理解することも同様に重要です。それでも、データ サイエンティストの無意識の偏見は、アルゴリズムに影響を与える上で重要な役割を果たします。そのため、AI における偏見を排除することは、多くの場合、異なる人種、性別、背景を持つ人材を雇用することと密接に関連しています。 採用をより公平かつ合理的にするために、企業はより客観的な面接手法を採用する必要があります。特に大企業では、面接の多くは従来の履歴書審査に限定されています。先進的で革新的な企業は、現実世界のプロジェクトベースのデータ分析を面接プロセスの中核にする必要があります。データ分析における候補者の科学的パフォーマンスを評価するだけでなく、ビジネスの観点から調査結果を解釈できることも確認します。 AI が多くのビジネス変革の原動力となるにつれ、AI のバイアスに対処するための明確なフレームワークを確立することが必須になります。どのような対策を講じても偏見を完全になくすことはできないということを人々は認識する必要がある。しかし、アルゴリズムのバイアスを制御するのは、人間のバイアスを制御するよりもはるかに簡単です。 |
<<: データ構造とアルゴリズム: 奇数偶数による配列のソート II
>>: ベアリングポイント調査 - 2022 年の 5 つのテクノロジー トレンド
北京時間12月6日、海外メディアの報道によると、克服すべき障害はまだ多くあるものの、自動運転車の技術...
生体認証技術である顔認証は、非接触、非強制、同時性などの特徴から、ますます広く利用され、人々の生活の...
この記事は公開アカウント「Reading Core Technique」(ID: AI_Discov...
人工知能は、特に交通インフラに関して、都市開発の近代化という使命を変革することができます。現代社会に...
SSAS は 9 つのデータ マイニング アルゴリズムを提供していますが、実際の問題に基づいて適切な...
[[361283]]画像ソース: https://pixabay.com/images/id-477...
先週金曜日、知会君は微博で「来週は良いものがリリースされる」と発表した。 「来週」になって間もなく、...
[[437677]]より長期的な視点で見ると、中国は歴史上、3つの発展の波と2つの谷を経験してきたこ...
[[398946]]画像ソース @Visual China本文 | 冰建技術研究所自然言語処理(N...
多数の法執行機関と契約している顔認識会社が、ハッキングされ顧客リスト全体が盗まれたと報告した。デイリ...