AI システムを監査する際に尋ねるべき 9 つの質問

翻訳: ブガッティ

企画：千山

ほとんどの企業は、記録システムの IT 監査を毎年実施しています。しかし、適切なセキュリティとガバナンスの要件を満たしていることを確認しながら AI とビッグ データを監査することは、現在進行中の作業です。

幸いなことに、多くの企業がすでに AI やビッグデータに適用できる実用的な成果を数多く生み出しています。これらのプラクティスは、AI やビッグデータに適用できる IT ポリシーと手順に反映されます。これは、専門の監査会社が限定的な AI およびビッグデータ サービスを提供する場合に非常に役立ちます。

企業が AI とビッグデータを自己監査するために使用できる 9 つの質問と方法を以下に示します。

1. データがどこから来ているか知っていますか?

多くの企業は業務運営から独自のデータを取得していますが、AI や分析のために外部ベンダーからデータを購入して使用しています。外部ソースからのすべてのデータは、AI や分析に使用する前に、信頼性とデータ品質を評価する必要があります。第三者からのデータを確認することは、すべての RFP の一部である必要があります。

2. データのプライバシーに対処しましたか?

顧客と独自のデータ プライバシー ルールや契約を交渉したとしても、同じデータ プライバシー基準を持たない外部のビジネス パートナーと対峙すると、これらのデータ プライバシー権が問題になる可能性があります。この場合、IT 部門がデータのプライバシーを確​​保するためのポリシーと手順を持つ必要があるだけでなく、企業の法務部門とコンプライアンス部門も、データが使用、匿名化、または共有される可能性がある顧客にこの事実を認識してもらう必要があります。

3. ロックアウト手順はありますか?

IoT およびエッジ コンピューティング デバイスにより、非構造化ビッグ データがシステムに取り込まれることがますます増えるでしょう。これらはモバイルの分散デバイスであるため、簡単に紛失したり、侵害されたり、置き忘れられたりする可能性があります。少なくとも、IT 部門はこれらのデバイスとその使用状況を追跡し、紛失または置き忘れが報告された場合にデバイスをロックする方法が必要です。

4. すべての IT システムはセキュリティ設定に準拠していますか?

多くのエッジ コンピューティング デバイスや IoT デバイス、ルーターやハブには、企業のセキュリティ標準を満たさないベンダーのデフォルトのセキュリティ設定があります。インストール プロセスの一環として、IT 部門は、展開前にデフォルトのセキュリティ設定を確認し、それをエンタープライズ セキュリティ設定に設定する手順を追加する必要があります。

5. データはどの程度クリーンですか?

適切なレベルのデータ クレンジングを実施する必要があります。これには、データの破棄、データの正規化、ETL (抽出、変換、ロード) ツールの使用が含まれる場合があります。これは、分析システムや AI システムに入力されるデータが可能な限りクリーンかつ正確であることを保証するためです。

6. AI の精度はどの程度ですか?

AI システムで使用されるアルゴリズムとデータは常に変化しているため、今日の AI にとって正しい仮定が明日は正しくない可能性があります。 AI には、すぐには検出できないバイアスが含まれる場合もあります。したがって、AI アルゴリズム、クエリ、およびデータを監視および変更するプロセスは継続的である必要があります。 AI データと操作を定期的に「調整」するための AI 手順を導入する必要があります。

7. ビッグデータと AI にアクセスできるのは誰ですか?

すべてのビッグデータ リポジトリ、AI、分析システムは、データとシステムの使用を許可されたユーザーのみがアクセスできるように、24 時間 365 日監視する必要があります。

8. AI は役割を果たしていますか?

AI システムは、ビジネスのニーズとミッションを満たしていることを確認するために、少なくとも年に 1 回は評価する必要があります。満たされない場合は、変更するか破棄する必要があります。

9. AI が失敗した場合、フェイルオーバーできますか?

AI 操作をビジネス プロセスに組み込む場合は、災害復旧計画でそれらのシステムが動作不能になるシナリオを考慮する必要があります。システムがダウンしたらどうしますか?すぐにオンラインにできるバックアップ システムはありますか?あるいは、AI システムが回復するまで、一連の手動手順 (およびそれを実行する方法を知っている作業者) が引き継ぐことは可能でしょうか?企業はシステムが正常に戻るまで AI による意思決定を延期できますか?停止後に IT 部門とビジネス部門が従うべき一連の手順を明確に概説します。

原題: AI システムを監査する際に尋ねるべき 9 つの質問、著者: Mary Shacklett