研究者は人工知能を使って、膨大なデータに隠された異常をリアルタイムで発見する

全国的な送電網の障害を特定することは、巨大な干し草の山から針を見つけるようなものです。米国全土に設置された数十万の相互接続されたセンサーが、電流、電圧、その他の重要な情報に関するデータをリアルタイムで、多くの場合 1 秒あたり複数回取得します。 MIT IBM Watson AI ラボの研究者たちは、これらのデータ ストリーム内の異常をリアルタイムで自動的に識別する計算効率の高い方法を考案しました。​​

彼らは、グリッドの相互接続性をモデル化することを学習した AI アプローチが、他の一般的な手法よりもこれらの障害を検出するのにはるかに優れていることを実証しました。彼らが開発した機械学習モデルは、トレーニングに電力網の異常に関する注釈付きデータを必要としないため、高品質のラベル付きデータセットの入手が難しい現実世界への適用が容易になります。このモデルは柔軟性も高く、交通監視システムなど、多数の接続されたセンサーがデータを収集して報告する他の状況にも適用できます。たとえば、交通のボトルネックを特定したり、交通渋滞がどのように関連しているかを明らかにしたりすることができます。

研究者らはまず、異常を、突然の電圧上昇など、発生確率が低い事象と定義した。彼らはグリッドデータを確率分布として捉えたので、確率密度を推定できればデータセット内の低密度値を特定できるはずです。発生する可能性が最も低いデータ ポイントは外れ値に相当します。

これらの確率を推定することは簡単な作業ではありません。特に、各サンプルは複数の時系列をキャプチャし、各時系列は時間の経過とともに記録された多次元データ ポイントのセットであるためです。さらに、このすべてのデータをキャプチャするセンサーは条件付きです。つまり、特定の構成で接続されており、1 つのセンサーが他のセンサーに影響を及ぼすことがあります。

データの複雑な条件付き確率分布を学習するために、研究者らは、サンプルの確率密度を推定するのに特に効果的な、正規化フローと呼ばれる特殊なタイプのディープラーニング モデルを使用しました。彼らは、異なるセンサー間の複雑な因果構造を学習できるベイジアンネットワークと呼ばれるグラフの一種を使用して、この正規化されたフローモデルを拡張しました。このグラフ構造により、研究者はデータ内のパターンを確認し、異常をより正確に推定できるようになります。