「ブラックボックス」アルゴリズムの下ではAIへの信頼は疑わしいが、説明可能なAIは開発の「最初の年」を迎える

天才は左にいて、狂人は右にいます。天才と狂気の間にはわずかな境界線しかありません。

AIに関しては、人々はAIがどのように意思決定を行うのかを知りません。シナリオによっては、「人工知能」から「人工知能」へのステップは1つだけであることがよくあります。

この問題を解決する鍵は、AI技術の説明可能性にあります。 説明可能な AI の概念は、業界にとって新しいトピックであると同時に古いトピックでもあります。

AI が今日まで発展するにつれ、AI に対する不信感は常につきまとってきました。その根本的な原因は、意思決定プロセスにおける AI の役割に対する人々の理解不足にあります。

現段階では、一部の分野を除いて、説明可能性が AI の重要な要件となっています。

機械学習におけるAIアルゴリズムの「ブラックボックス」

AIが一般的な技術になるにつれ、人間は常にAIに対してより高い期待を抱いてきました。

SF映画「her」に登場するAIロボットは行動を説明して人間の意思決定を助け、さらには人間と深いコミュニケーションをとることができると多くの人が固く信じており、遅かれ早かれそれが人々の日常生活に登場するだろう。

もちろん、こうした過度に理想主義的なシナリオは、今のところSF作品の中にしか存在しません。実際の説明可能なAIは、技術的にも経験的にもまだ標準に達していませんが、業界での開発は始まっており、急速に業界のホットスポットになりつつあります。

過ぎ去ったばかりの2021年は、業界の専門家によって説明可能なAI元年として認識されています。学術界だけでなく産業界においても、AIをより透明かつ説明可能にする方法を積極的に模索しています。

実際、人工知能の説明可能性や科学技術倫理などの問題は、AI分野では必須の課題となっている。2021年の「第14次5カ年計画」でも、科学技術倫理の体系を改善する必要性が明確に強調されている。

海外の主流テクノロジー企業は、すでに社内に独自の技術倫理委員会を設立しており、関連する技術ソリューションの開発も積極的に行っています。

国内のインターネット企業も同様の慣行を採用し始めている。例えば、美団は食品配達の関連ルールを説明する記事を2本発表しており、微博も人気検索アルゴリズムのルールを公開している。

説明可能な AI とは何かを理解する前に、「説明可能性」という概念を理解する必要があります。

広い意味では、説明可能性とは、問題を解決したり、それについて決定を下したりする必要がある場合、問題を理解して決定を下すのに役立つ十分な情報を問題から得る必要があることを意味します。

たとえば、科学研究において、科学者が新しい技術に直面したとき、次の研究の方向性を決定できるように、その技術の現状と基本概念を理解するために大量の情報に目を通す必要があります。

逆に、いくつかの状況で十分な情報が得られなければ、それは私たちにとっては説明のつかないものになります。AlphaGoとKe Jieの対戦では、AlphaGoに入力された指示は「ゲームに勝つ」でしたが、ゲーム中に次の動きをどのように考えるべきなのかという原理はわかりません。

特に機械学習の分野では、入力データと出力回答の間のこの観測不可能な空間は、しばしば「ブラックボックス」と呼ばれます。

AI アルゴリズムは「ブラックボックス」であり、開発者でさえアルゴリズムの動作の具体的な詳細を完全に理解できない場合があり、AI モデルの透明性と説明可能性に問題が生じます。

これら 2 つの問題が解決されなければ、AI アプリケーションに対するユーザーの信頼に影響するだけでなく、アルゴリズムの識別、アルゴリズムのセキュリティ、アルゴリズムの責任などの関連する問題も引き起こす可能性があります。

説明可能なAIは人工知能の継続的な発展の必然的な産物である

AIの説明可能性の問題が注目されている主な理由は、AIがますます強力になっている一方で、ますます「ブラック」になっているからです。第二に、AIはますます実用的になっている一方で、その信頼性と適用範囲も向上しています。

「いくつかの重要な応用分野では、AIの信頼性とセキュリティに対する要件がますます高まっており、説明可能性は上記の要件を満たすための認知的基礎となります。

実際、機械学習モデルは説明不可能なブラックボックスであると考えられることが多く、ディープラーニングで使用されるニューラルネットワークは人間にとって理解するのが最も難しいものの 1 つであり、偏見 (多くの場合、人種、性別、年齢、または場所に基づく) は AI モデルのトレーニングにおける長年のリスクとなっています。

さらに、本番データはトレーニング データと異なるため、AI モデルのパフォーマンスが影響を受けたり、低下したりする可能性があります。そのため、AI の説明可能性を高めるには、モデルを継続的に監視および管理することが重要になります。

説明可能な AI は、エンドユーザーの信頼、モデルの監査可能性、AI の効率的な使用を促進すると同時に、AI の使用に伴うコンプライアンス、法律、セキュリティ、評判のリスクを軽減します。

ユーザーにとって、AI は意思決定に役立ちますが、なぜその決定が下されたのかを理解することも必要です。

特に軍事、金融安全保障、医療検査の分野では、AIの意思決定行動を理解できなければ、AIが失敗すると、ユーザーの利益に大きな損害を与えることになります。

AIシステム開発者にとって、AIの説明可能性は、AIシステムに問題が発生した場合に問題の根本原因をより正確に見つけるのに役立ち、「カーペットスタイルのトラブルシューティング」に必要な人員と時間を節約し、開発効率を大幅に向上させます。

さらに、企業にとって、AI 意思決定の原則を深く理解することは、意思決定の公平性を確保し、ブランドと企業の利益を保護するのに役立ちます。

上記の点に加え、欧州連合は2018年にGDPR（一般データ保護規則）において、AIアルゴリズムが意思決定に関与する場合は説明能力が必要であると規定しました。

政府によるユーザーデータのプライバシーの監視と保護により、企業や研究機関も説明可能なAIにさらに注目するようになりました。

「信頼できる」と「説明可能」が将来のAI開発の主な方向性となる

AI が人間の知能をシミュレートしたい場合、人間のように考え、説明する方法を学ぶ必要があります。

人は誰でも、明示的知識と暗黙的知識を持っています。明示的知識とは、生まれながらに身に付けた計算能力や論理的判断能力のことで、暗黙的知識とは、物事に対する直感や主観的な見方のことです。

人々が意思決定をするとき、2 種類の知識を効果的に組み合わせて判断を下すことができますが、説明をするときは、他の人が理解できるように説明を明確にする必要があります。

現在、ディープラーニング分野のAIは確率モデルによる暗黙知の獲得しか実現できていませんが、他の分野ではナレッジグラフなど明示的知識をシミュレートする仕組みが数多く存在します。

AIの次なる開発と応用において、現段階での最大の課題は、問題を解決し、結果を出力するときに、明示的知識と暗黙的知識をどのように効果的に組み合わせるかということです。

現在、国内企業の説明可能なAIの実践はまだ比較的断片化されており、体系的なレベルには達していないが、業界全体としては説明可能性の方向に向かって発展している。

たとえば、ヘルスケアの分野では、診断、画像分析、リソースの最適化を加速し、患者ケアの決定の透明性と追跡可能性を向上させ、医薬品の承認プロセスを簡素化することができます。

金融サービス部門では、透明性の高い融資および信用承認プロセスを通じて顧客体験を向上させ、信用リスク、資産管理、金融犯罪リスク評価を加速し、潜在的な苦情や問題の解決を迅速化し、価格設定、製品推奨、投資サービスに対する信頼を高めます。

刑事司法分野では、予測およびリスク評価プロセスを最適化することができます。 DNA 分析、刑務所人口プロファイリング、詐欺検出、犯罪予測において説明可能な AI を使用して問題解決を加速します。

今日の時代、人々は説明可能な AI を緊急に必要としており、「責任ある」かつ「説明可能な」 AI は、確かに双方の信頼を獲得し、将来のコンプライアンスのニーズを満たすための基礎となるでしょうが、この目標を達成することは間違いなく長く困難な道のりです。

AIは人間の意思決定に取って代わるものではなく、人間がより良い意思決定を行えるように支援するものであるべきです。人々が AI システムの意思決定能力を信頼しなければ、これらのシステムが広く採用されることは決してないでしょう。

人間が AI を信頼するためには、システムがすべての秘密をブラックボックスに閉じ込めておくことはできません。説明可能な AI は必要な説明だけを提供します。