筋肉の震えもはっきりと見えます！ 3D人体モデル自動生成アルゴリズム、第一著者北京大学チューリングクラス

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

ゲームをしたりアニメを見たりするときに、次のような状況に遭遇することがあります。

何かがおかしい気がします...

現在、これらの 3D 人間モデルは改善可能で、姿勢はよりリアルになり、しわはより自然になり、筋肉はより豊かになります。

感情もより関わってくるようです…

筋肉の震えもはっきりと見えます。

こうやって比べてみると違いは一目瞭然ですね〜

この新しい方法により、アニメーションの品質が向上するだけでなく、手作業の労力も大幅に削減され、制作スピードも向上します。

ご存知のように、過去のアニメーションには、スケルトンの構築、スキニング、ウェイトのブラッシングなどの面倒な手順が必要でした。アニメーターは何年も練習しなければならないことが多く、結果が満足のいくものでないことがよくありました。

今では、ニューラル ネットワークがその仕事をこなすことができます。

それだけでなく、画像からスケルトンを予測し、ウェイトをバインドすることもできるので、モーションキャプチャーによるアニメーション化が容易になります。

この研究成果は、北京大学や北京電影学院などの大学や研究機関の協力により完成しました。

関連論文「ニューラルブレンドシェイプによる骨格関節の学習」がSIGGRAPH 2021で公開され、コードがオープンソースになりました。

提案されたニューラル融合形状技術

研究チームは、特定の構造を持つ骨を生成し、骨の皮膚の重量を正確に結合するニューラル ネットワークを開発しました。

これは、エンベロープ変形ブランチと残差変形ブランチの 2 つの部分で構成されます。

ラッピング変形ブランチは、間接的な監視を通じてオフセットで構成されるスケルトン固有のアセンブリ パラメータを学習し、最終的に入力文字からスケルトン、スキン、およびウェイト バインディングを予測します。

よく使われるアニメーション制作ツール「Mixamo」にもバインディングとスキニングは備わっていると言えるでしょう。

しかし、新しい方法ではそれ以上のことが可能です。モデルによく一致するボーンを正確に予測し、ウェイトをバインドすることもできます。

これにより、モーションをキャプチャしてアニメーションを作成しやすくなります。

さらに、ニューラル ブレンド シェイプ技術を使用すると、補正変形ブランチは入力メッシュ接続に基づいて対応するブレンド シェイプを予測できます。

同時に、関節の回転に基づいて融合係数が予測され、これに基づいて補償変形が補間されます。

たとえば、ニューラル ブレンド シェイプは筋肉の形状を修正し、筋肉の膨らみを正確に維持します。

LBS (Linear Blended Skinning) アルゴリズムの効果と比較すると、詳細がより適切に処理されます。

3DアニメーションソフトBlenderの効果との比較：（小腹は完璧に保存されています）

さらに、研究チームはニューラルハイブリッド形状係数も視覚化し、左側の画像出力が右側の対応する姿勢に結びついていることを確認できました。

さらに、各関節のブレンド形状係数の活性化度合いを色の変化で表現します。

この方法を使用すると、ニューラルネットワークは、トレーニングデータセットの変形方法に制限を受けることなく、間接学習のために変形された文字モデルを観察するだけでよくなり、適用範囲が大幅に拡大します。

最終的に、リアルタイムで高品質なエンドツーエンドの 3D キャラクター モデル アニメーションの自動生成が実現しました。

著者の1人は北京大学チューリングクラス出身である

チームは、北京大学のバオクアン・チェン教授の研究チーム、北京電影学院の未来映像先端イノベーションセンター、Google Research、テルアビブ大学、ETHチューリッヒの研究者で構成されています。

論文の第一著者は北京大学チューリングクラスの学部生、李培卓氏である。

彼は重慶第一中学校を卒業し、情報科学コンテストの省チームに選ばれ、2017年の大学入試で687点を獲得して北京大学に入学した。

現在、Li Peizhuo 氏は Chen Baoquan 教授の下で学んでおり、ディープラーニングとコンピュータグラフィックスを研究の方向性としています。現在は北京大学のビジュアルコンピューティングおよび学習研究所と北京電影学院の未来画像先端イノベーションセンター (AICFVE) でインターンシップを行っています。

彼は以前、SIGGRAPH で論文を発表していました。 QuantumBit とのやり取りの中で、彼はグラフィックスに特に興味があることを表明しました。

論文の詳細については、興味のある方はリンクをクリックして詳細をご覧ください。

プロジェクトのホームページ:
https://peizhuoli.github.io/neural-blend-shapes/
論文の宛先:
https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf