合成データのみでリアルな顔解析が可能！マイクロソフトの新しい研究は、手動ラベル付けに別れを告げる

[[427464]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

さらに、顔分析タスクでは、その精度は実際のデータに劣りません。

これは Microsoft チームによる最新の研究であり、論文のタイトルがすべてを物語っています。

成功するまで偽り続けなさい。

この記事では、プログラムで生成された 3D 顔モデルと合成データベースを組み合わせて画像をトレーニングする方法を紹介します。顔の解析などのタスクの結果は、実際のデータと比較できます。

研究者らは、これにより手作業によるラベル付けが不可能な分野に新たな方法が開かれたと述べた。

将来、本当に手作業によるラベル付けはなくなるのでしょうか? ！

どうやってそれを達成するのでしょうか?

顔データセットをより多様で豊かにしたい場合、収集とラベル付けによってそれを実現することはますます困難になっています。

言うまでもなく、Web スクレイピングなどの収集は、重大なプライバシーおよび著作権の問題を引き起こす可能性があります。手動でラベルを付ける場合、エラーが発生したり、ラベルに一貫性がなくなったりする可能性があります。

そのため、研究チームは、実際のデータの補強または置き換えに合成データを使用することを検討しました。しかし、顔モデル自体が複雑なため、実装が困難でした。

それで、今回はどのように達成されたのでしょうか?

最初のステップは、プログラムを使用して、アイデンティティ、表情、顔の質感、髪型、服装、さまざまな照明環境下での効果を含む合成顔を生成することです。

これらのデータはすべて個別にサンプリングされ、より多様な個体が作成されるように事前に「手動で」ノイズが除去されました。

例えば顔モデルではこんな感じです〜

例えば衣服はファッションデザイナーやシミュレーションソフトウェアデザイナーによって手作りされており、合計30セットのさまざまな衣服がありました。

ヘッドドレス（36個）、マスク（7個）、メガネ（11個）も含まれています。

これに加えてタグが合成されます。

トレーニング段階に移り、研究者らは解像度 512 × 512 の 10 万枚の画像のデータセットを作成し、データ拡張を実行し、150 個の NVIDIA M60 GPU を使用して 48 時間レンダリングしました。

さらに、チームは顔解析ネットワーク（合成データのみを使用）とラベル適応ネットワークをトレーニングし、合成ラベルと人間が注釈を付けたラベル間の体系的な違いを考慮しました。

最終的に、顔分析やランドマークの位置特定などのタスクの結果は、実際のデータを使用する他のモデルに匹敵します。

しかし、研究者たちはこの技術にはまだ一定の限界があることを認めている。

たとえば、顔のモデルには頭と首しかなく、実際のしわをシミュレートできず、顔をランダムにマッチングすると、ひげを生やした女性など、不合理な顔が生成されます。

今後の研究では、これらの制限に対処する予定です。

興味のある方は下の論文リンクをクリックしてください〜

論文リンク:
https://www.arxiv-vanity.com/papers/2109.15102/