ディープラーニング + OpenCV、Python でリアルタイムのビデオオブジェクト検出を実現

OpenCV と Python を使用してライブビデオストリームでディープラーニングオブジェクト検出を実行するのは非常に簡単です。適切なコードをいくつか作成し、ライブビデオを接続して、独自のオブジェクト検出機能を追加するだけです。

この記事では、ディープラーニングと OpenCV を使用して、元のオブジェクト検出プロジェクトを拡張し、アプリケーションの範囲をリアルタイムのビデオストリームとビデオファイルに拡張する方法を学習します。このタスクは、VideoStream クラスを通じて実行されます。

ディープラーニングによる物体検出チュートリアル: http://www.pyimagesearch.com/2017/09/11/object-detection-with-deep-learning-and-opencv/
VideoStream クラスのチュートリアル: http://www.pyimagesearch.com/2016/01/04/unifying-picamera-and-cv2-videocapture-into-a-single-class-with-opencv/

それでは、ディープラーニング + オブジェクト検出コードをビデオストリームに適用し、FPS 処理速度を測定します。

ディープラーニングと OpenCV を使用したビデオオブジェクト検出

OpenCV ディープラーニングに基づくリアルタイムオブジェクト検出器を構築するには、カメラ/ビデオストリームに効率的にアクセスし、各フレームにオブジェクト検出を適用する必要があります。

まず、新しいファイルを開いて real_time_object_detection.py という名前を付け、次のコードを追加します。

2行目から8行目まででパッケージのインポートを開始します。その前に、imutils と OpenCV 3.3 が必要です。システム設定では、OpenCV をデフォルト設定でインストールするだけです (また、Python 仮想環境のすべての指示に従っていることを確認してください)。

注意: ディープニューラルネットワークモジュールが含まれていることを確認するには、OpenCV 3.3 (またはそれ以降) と OpenCV-contrib バージョン (OpenCV 3.3 用) をダウンロードしてインストールしてください。

次に、これらのコマンドライン引数を解析します。

前回のオブジェクト検出プロジェクトと比較すると、ここではビデオストリームとビデオを扱っているため、画像パラメータは必要ありません。ただし、次のパラメータは同じままです。

--prototxt: Caffe prototxt ファイルのパス。
--model: 事前トレーニング済みモデルへのパス。
--confidence: 弱い検出をフィルタリングするための最小確率しきい値。デフォルト値は 20% です。

その後、クラスリストとカラーセットを初期化します。

22 行目から 26 行目では、CLASS ラベルと対応するランダムな COLORS を初期化します。これらのクラス（およびネットワークのトレーニング方法）の詳細については、http://www.pyimagesearch.com/2017/09/11/object-detection-with-deep-learning-and-opencv/ を参照してください。

ここで、独自のモデルをロードし、独自のビデオストリームを設定します。

独自のシリアル化モデルをロードし、prototxt およびモデルファイルへの参照を提供します (行 30)。OpenCV 3.3 でわかるように、これは非常に簡単です。

次に、ビデオストリームを初期化します (ソースはビデオファイルまたはカメラです)。まず、VideoStream を開始し (行 35)、次にカメラの起動を待機し (行 36)、最後に 1 秒あたりのフレーム数の計算を開始します (行 37)。 VideoStream クラスと FPS クラスは、imutils パッケージの一部です。

次に、各フレームをループしてみましょう (速度を重視する場合は、いくつかをスキップできます)。

まず、ビデオストリームからフレームを読み取り (行 43)、サイズを変更します (行 44)。幅と高さは後で必要になるので、47 行目で取得します。次に、フレームは dnn モジュールを使用して BLOB に変換されます (行 48)。

ここで、ブロブをニューラルネットワークへの入力として設定し (行 52)、入力をネットに渡して (行 53)、検出結果を取得します。

この時点で、入力フレーム内のオブジェクトが検出されました。次は、信頼度値を確認して、オブジェクトの周囲に境界ボックスとラベルを描画できるかどうかを判断します。

まず、画像内で複数のオブジェクトが検出できることを念頭に置き、検出をループします。また、各検出の信頼性（つまり確率）も確認する必要があります。信頼度が十分に高い場合（しきい値を超える場合）、画像の予測がテキストと色付きの境界ボックスの形式で端末に表示されます。これを1行ずつ見てみましょう:

検出ループ内では、まず信頼値を抽出します (行 59)。
信頼度が特定のしきい値を超える場合 (行 63)、クラスラベルインデックスを抽出し (行 67)、検出されたオブジェクトの座標を計算します (行 68)。
次に、境界ボックスの (x, y) 座標を抽出し (行 69)、これを使用して四角形とテキストを描画します。
クラス名と信頼度で構成されるテキストラベルを作成します (行 72、73)。
また、クラスの色と、前に抽出した (x, y) 座標を使用して、オブジェクトの周囲に色付きの四角形を描画します (行 74、75)。
通常、ラベルは長方形の上に表示されますが、スペースがない場合は、ラベルを長方形の上端より少し下に表示します (行 76)。
***、先ほど計算した y 値を使用して、色付きのテキストをフレーム上に配置します (行 77、78)。

フレームキャプチャループの残りのステップは、(1)フレームの表示、(2)終了キーの確認、(3)fpsカウンターの更新です。

上記のコードブロックは非常に単純で、最初にフレームを表示し (行 81)、次に特定のキーを見つけ (行 82)、さらに「q」キー (「quit」の略) が押されたかどうかを確認します。押された場合は、フレームキャプチャループを終了します (行 85、86)。 ***fps カウンターを更新します (行 89)。

ループを終了する場合（「q」キーまたはビデオストリームの終了）、これも処理します。

ループを終了すると、fps カウンターが停止し (行 92)、1 秒あたりのフレーム数が端末に出力されます (行 93、94)。

ウィンドウを閉じて (行 97)、ビデオストリームを停止します (行 98)。

ここまで来たら、自分のウェブカメラで試してみて、どのように動作するか確認する準備が整いました。次の部分に進みましょう。

リアルタイムディープラーニングによる物体検出の結果

リアルタイムのディープラーニングオブジェクト検出器を起動して実行するには、このガイドのダウンロードセクションにあるサンプルコードと事前トレーニング済みの畳み込みニューラルネットワークを使用するようにしてください。 (元のリンクを開いて「ダウンロード」セクションに移動し、メールアドレスを入力して、必要なコードやその他の情報を入手してください。)

ターミナルを開き、次のコマンドを実行します。

OpenCV がウェブカメラにアクセスできる場合は、検出されたオブジェクトを含む出力ビデオフレームを表示できます。

ディープラーニングオブジェクト検出器が、人物だけでなく、その人物が座っているソファとその隣の椅子もすべてリアルタイムで検出できることに注目してください。

要約する

今日のブログでは、ディープラーニング + OpenCV + ビデオストリーミングを使用してリアルタイムのオブジェクト検出を実行する方法を学びました。私たちはこれを 2 つのチュートリアルで実現しました:

ディープラーニングと OpenCV によるオブジェクト検出 (http://www.pyimagesearch.com/2017/09/11/object-detection-with-deep-learning-and-opencv/)
OpenCV での効率的なスレッド化されたビデオストリーミング (http://www.pyimagesearch.com/2016/01/04/unifying-picamera-and-cv2-videocapture-into-a-single-class-with-opencv/)

最終結果は、6〜8 FPS（もちろんシステム速度によって異なります）でビデオを処理できるディープラーニングベースのオブジェクト検出器です。

以下の方法でさらに速度を上げることができます。