ビデオ映像から間取り図を推測する新たなAI研究は目を見張るものがある

フロアプランは、空間を視覚化したり、ルートを計画したり、建物のデザインを伝えたりするのに役立ちます。たとえば、新しい建物に入るロボットは、フロアプランを使用して全体的なレイアウトをすばやく認識できます。通常、フロアプランを作成するには、3D センサーとカメラが空間全体をキャプチャできるように、完全なレイアウトが必要です。

1月11日、海外メディアの報道によると、フェイスブック、テキサス大学オースティン校、カーネギーメロン大学の研究者らが、視覚と音声を利用して短いビデオクリップから間取り図を再構築する人工知能技術を研究している。

研究者らは、音声は画像のマッピング機能を補完する空間的および意味的な信号を提供すると主張している。これは、音が本質的に物体の形状によって駆動されるためだと彼らは言います。音が表面で反射し、カメラの視野をはるかに超えた部屋の形状が明らかになります。遠くから、たとえ数部屋離れた場所からでも聞こえる音は、音響物体が存在する可能性のある自由空間の存在を明らかにすることができます。さらに、さまざまな方向から聞こえる音は、その音が表す活動や物に基づいてレイアウトを明らかにします。たとえば、シャワーの音はバスルームの方向を示唆し、電子レンジの音はキッチンの方向を示唆する場合があります。

AV-Mapと呼ばれる研究者の手法は、マルチチャンネルオーディオ付きの短いビデオを2Dフロアプランに変換するように設計されています。機械学習モデルは、オーディオとビジュアルのデータシーケンスを利用してフロアプランの構造とセマンティクスを推測し、最後にデコードコンポーネントを使用してオーディオとビデオの情報を融合します。 AV-Map は、ビデオで直接見える領域を大幅に超えるフロア プランを生成し、空きスペースと占有エリアをファミリー ルームやキッチンなどの個別の意味的な部屋ラベルに分割して表示します。

チームは、Matternet3D および SoundSpaces データセットから抽出したデジタル環境で、アクティブとパッシブの 2 つのセットアップを試しました。最初の実験では、仮想カメラを使用して、模型の家の部屋を移動しながら既知の音を再生しました。 2 番目のケースでは、家の中の物や人が出す自然な音だけに頼ります。

研究者らは、今後の研究では複数階のフロアプランを拡張し、マッピングのアイデアをカメラを積極的に制御するロボットに結び付けることを検討する予定だと述べている。