新しい検索エンジンのスキル: アリババの新しい研究では、2D 画像を使用して 3D モデルを検索します

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

AI技術の研究は2Dからより難しい3Dへと移行しています。 12月3日、記者はアリババの技術チームが2D画像に基づいて対応する3Dモデルを正確に検索できる新しい3D AIアルゴリズムを開発したことを知りました。これにより、精度が10％大幅に向上しました。これにより、3Dプリント、VRハウス内覧、シーンショッピングガイドなどの分野で敷居を下げることができます。この研究成果は、トップAIカンファレンス「NeurIPS 2020」に掲載されました。

3D プリントや VR などの応用シナリオは徐々に成熟していますが、3D 検索に代表される 3D インテリジェント技術はまだ初期の研究段階にあります。たとえば、2D画像の色やテクスチャ情報と3Dモデルの形状情報には違いがあるため、従来のAI手法によるモデルマッチングの精度は低くなります。過去数年間、カーネギーメロン大学、MIT、スタンフォード大学などのトップ機関がこの分野の研究に投資してきました。

(Ali の 3D AI アルゴリズムは、2D 画像に基づく膨大なデータセットから一致する 3D モデルを正確に見つけることができます)

世界最高峰のAIカンファレンス「NeurIPS 2020」の公式発表によると、アリババの技術チームが率先して3D検索の新しい手法を提案しており、まずAIに大量の複雑な2D画像サンプルを学習させ、それによってテクスチャなどの干渉情報を弱め、AIネットワークが幾何学的詳細の学習に集中できるようにすることで、AIが2D画像と3Dモデルの違いをよりよく理解できるようにするという。

実験結果によると、トレーニングされたアルゴリズム モデルは 3D モデル データセットをより効率的に一致させることができ、さまざまなデータセットでの精度が約 10% 向上しました。たとえば、家具の写真を使用すると、家具の 3D モデルを直接見つけることができます。

論文の著者であり、アリババ・タオバオの技術アルゴリズムの専門家であるフー・フアン氏は、「3D検索、3D再構築、3D表示はすべて3D分野の基本技術です。将来、アルゴリズムと3Dデータセットがさらに強力になるにつれて、検索エンジンはあらゆるものの3Dモデルを見つけることができるようになります」と述べています。

アリババの技術チームは、3D再構成や3D検索などの技術分野で数々のブレークスルーを達成し、関連技術はタオバオ3Dショッピングやフラットデザイナーなどのシーンに応用されていると報じられている。今年3月、アリババは国際的に著名な学者数名と協力し、質感の詳細を満載した業界初の大規模3D家具データセット（3D-FUTURE）をオープンソース化し、スタンフォード大学、カリフォルニア大学バークレー校、清華大学、香港中文大学などの大学や、アップルやフェイスブックなどの企業を惹きつけ、最先端の学術研究と応用研究を実施しました。