人工知能による影の検出と除去、反射に基づく影の検出と除去方法を実現

AI による影の検出と除去、反射ベースの影の検出と除去方法に向けて、概要: 影は画像によく見られる要素ですが、検出されないとシーンの理解や視覚処理に支障をきたす可能性があります。 単一画像内の影を検出するための、シンプルでありながら効果的な反射率ベースの方法を提案します。 まず、画像をセグメント化し、反射率、照明、テクスチャの特徴に基づいて、セグメント ペアをシャドウ ペアと非シャドウ ペアとして識別します。 提案された方法は、公開され広く使用されている 2 つのデータセットでテストされています。 必要なパラメータが少ないにもかかわらず、私たちの方法は、以前に報告された方法と比較して、影を検出する精度が高くなります。また、検出された影の領域のピクセルを再照明することで、影のない画像での結果も示します。

人工知能による影の検出と除去、反射ベースの影の検出と除去方法の実装 はじめに: 影はどこにでもあります。これらは、光が物体によって部分的または完全に遮られたときに形成されます。影は、画像内の照明の方向[1]、シーンの形状、シーンの理解[2]に関する情報を提供し、ビデオ内のオブジェクトを追跡するために重要です[3]。それらは航空写真の構成要素でもある[4]。しかし、影は物体検出、特徴抽出、シーン解析などのタスクを複雑にする可能性もあります[5]。

画像やビデオ内の影を検出するための多くの方法が提案されています。この論文では、カラー画像内の影の検出に焦点を当てています。最近のデータ駆動型アプローチのブームにより、機械学習ベースの方法が影の検出に適用されるようになりました。 [5]では、2490個のパラメータからなる条件付きランダムフィールドを使用して、強度、歪度、テクスチャ、勾配類似性などの特徴を使用してグレースケール画像内の影を検出しました。 [7]では、1000個のパラメータからなる畳み込みニューラルネットワークを使用して影を検出しました。 [6]では、エッジ周囲の強度情報を使用して影の境界を検出します。 [8]では、まず画像をセグメント化し、さまざまな分類器を使用して、異なるセグメントを互いに比較することで、類似した色とテクスチャの領域を検出します。

人工知能による影の検出と除去、反射ベースの影の検出と除去方法、貢献：この論文では、従来の方法と比較して、より少ないパラメータで高い精度を実現する、トレーニングを必要とせず影を検出する方法を提案します。[8]、[5]、[7]。私たちは[8]とは、領域の特徴と分類器を比較し、これらの比較を使用してシャドウマスクを取得する方法において異なります。すべての表面には、反射率とテクスチャという 2 つの特性があります。表面に影が落ちると、その表面の明るさは減少しますが、反射率は同じままです。照明が減少するため、テクスチャ情報も多少失われます。表面を検査しても、暗くなる原因が影の影響なのか陰影の影響なのかを判断するのは困難です。図1に例を示します。表面同士を比較することで、より確実に影を検出できます。したがって、反射率、テクスチャ、照明特性に基づいて画像のさまざまな領域をペアリングすることで、影を効果的に検出できます。

人工知能による影の検出と除去、反射ベースの影の検出と除去方法の実装 影の検出: 私たちの目標は、反射率、テクスチャ、照明の特性に基づいて、画像のさまざまな領域をグループ化することです。類似した属性を持つピクセルを異なる領域にグループ化するために、まずガウスカーネルサイズ9のクイックシフト法[11]を使用して画像をセグメント化します。私たちの仮定では、1 つのセグメントには同様の反射率と照明を持つピクセルが含まれているはずです。セグメンテーション結果の例を図 2 に示します。次のサブセクションでは、各セグメントを影付きまたは影なしとしてラベル付けするための反射率、テクスチャ、および照明分類子を設計する方法について説明します。

明るさ分類子: 直接光が部分的または完全に遮られると影が形成され、照度が低下します。照度の減少は、Ld と Le の相対的な強度に依存します。照明の強度が大幅に低下すると、影が暗くなります。効果的な明るさ分類器を構築するには、照度の低下を検出し、その低下がノイズではなく光の遮蔽によるものであると判断できる必要があります。これをモデル化するために、LAB カラー スペース内のすべてのピクセルの輝度値を調べます。 LAB 空間内のすべてのセグメントの中央値の明るさを計算し、中央値の明るさの値のヒストグラムを計算します。ヒストグラムのピークは、画像内の異なる照明が当たる領域の数を推定します。

次に、ピークへの近さに基づいてセグメントをグループ化して、画像を領域に分割します。同じ領域内のセグメントは照明の強度が似ているため比較されませんが、異なるグループのセグメントは影を検出するために比較できます。この手順は、クリップを同様の照明の領域に適応的にグループ化するため便利です。図は、明るさに基づいてセグメントを領域にグループ化する例を示しています。

グループ化の基準に加えて、2 つのセグメントが影と非影のペアになるためには、同様の照明を持つセグメントの比較を避けるために、LAB 空間におけるそれらの中央輝度 T の比率が 1.2 のしきい値を超えている必要があります。 T は 1 から 1 までの任意の値を取ることができ、1 に近いほど 2 つのセグメントの照明強度は近くなります。影になっている部分と影になっていない部分のペアは​​、同様の照明強度のフラグメントと比較して、T 値が高くなります。

テクスチャ分類子: 影と対応する非影のセグメントは同じマテリアルを持つため、それらのテクスチャ特性は類似します。ただし、シャドウ セグメントの照明強度が低下するため、一部のテクスチャ情報が失われます。この現象を捉えるために、T があまり高くない場合に、比較する際にテクスチャの類似性を探します。T があまり高いとテクスチャ情報が失われるからです。 2つの断片のテクスチャマップ[12]のヒストグラム間の地球移動距離を計算し、閾値を設定して2つの断片が類似したテクスチャを持つかどうかを調べます。ただし、T が 2.4 より大きい場合は、照明の減少によりシャドウ セグメントで多くのテクスチャ情報が失われるため、テクスチャの類似性と比較しません。

実装: このサブセクションでは、上記の 3 つの分類器を使用して影と非影のセグメントのペアを検出する方法について説明します。各フラグメントは、上で説明した反射率、テクスチャ、および明るさの分類子を使用して、隣接するフラグメントと比較されます。すべての分類子がペアをシャドウ-非シャドウ ペアとしてラベル付けすると、接続が保存されます。これらの接続を使用して、より多くのセグメントを接続します。各影と非影のペアについて、影セグメントの分類されていない隣接セグメントをすべて取得し、上記の分類器を使用して非影セグメントと比較します。シャドウ フラグメントでもある隣接フラグメントに対して、このプロセスを繰り返します。このようなセグメントは最初の反復では検出されません。すでにラベル付けされた網掛けセグメントにこれらを接続するには、最初の接続から取得した情報を使用してプロセスを繰り返します。このプロセスを図 5 に示します。

AI シャドウ検出と除去、反射ベースのシャドウ検出と除去方法の実装 結論: 非常に少ないパラメータしか必要としない、シンプルでありながら効果的なシャドウ検出方法を提案しました。各画像は最初にセグメント化され、セグメント ペアは、反射率、照明、テクスチャの特徴に基づいてシャドウと非シャドウのペアとして識別されます。 実験結果によると、私たちの方法は影の検出には効果的ですが、影以外のものの識別精度は低いことがわかりました。 検出された影と非影のペア間の接続を使用して、テスト画像内の影を正常に除去します。