Unity Greater China プラットフォーム テクノロジー ディレクター Yang Dong: メタバースでのデジタル ヒューマンの旅の始まり

デジタルヒューマンは、メタバースコンテンツ構築の礎として、持続的に実装および開発できる最も初期の成熟したメタバースサブシナリオです。現在、バーチャルアイドル、電子商取引販売、テレビ司会者、バーチャルキャスターなどの商用アプリケーションが一般に認知されています。メタバースにおいて、最も中核となるコンテンツの 1 つはデジタル ヒューマンです。デジタル ヒューマンは、メタバースにおける現実世界の人間の「化身」であるだけでなく、メタバースでさまざまなインタラクションを実行するための重要な手段の 1 つでもあるためです。

リアルなデジタルヒューマンキャラクターの作成とレンダリングは、コンピュータグラフィックスにおける最も難しい問題の 1 つであることはよく知られています。最近、51CTOが主催したMetaConメタバーステクノロジーカンファレンスの「ゲームとAIの相互作用」セッションで、Unity Greater ChinaのプラットフォームテクノロジーディレクターであるYang Dongが、「Unityデジタルヒューマンテクノロジー - メタバースの旅の始まり」というテーマを共有し、一連のデモプレゼンテーションを通じてUnityの高解像度レンダリングパイプラインテクノロジーを詳細に紹介しました。

1. Unity の紹介

Unity は現在、世界で最も多くのコンピューティング プラットフォームをサポートしており、PC、Mac、Linux、iOS、Android、Switch、PlayStation、Xbox、すべての AR/VR、MMAT などのデバイスを含む 30 近くのコンピューティング プラットフォームをサポートしています。 3次元のインタラクティブコンテンツを作成したい場合、現時点ではUnityが最適な選択肢です。高解像度レンダリングについてはよく知られていますが、これは独立したグラフィック カードを搭載した一部のマシンで高解像度コンテンツをレンダリングするために使用されます。私たちが今話題にしているリアルなデジタル ヒューマンのテクノロジは、高解像度レンダリング テクノロジに依存しています。

現在、Unity China チームには 300 人以上のフルタイム従業員がおり、世界中に約 7,000 人の従業員がおり、そのうち 70% 以上がエンジニアです。本社は上海にあり、北京と広州にもオフィスがあり、それぞれに従業員が勤務しています。

2. Unity エンジンの強みは何ですか?

Unity は現時点ではオープンソース エンジンではありませんが、そのモジュールは高度にカスタマイズ可能です。

画像は、現在 Unity でサポートされているプラ​​ットフォームを示しています。最も一般的なプラットフォームは、これらのアイコンで確認できます。これらは近年最も人気のあるゲームの一部かもしれません。Honor of Kings、CALL DUTY、League of Legends、Genshin Impact、Fall Guys、Shining Nikkiなど、おなじみのアイコンのいくつか...実際、国内外の Android および iOS ランキングでは、最も収益性の高いゲーム上位 1,000 のうち 70% 以上が Unity によって作成されました。 Switch ゲームの半分以上は Unity で作られています。高解像度のグラフィックと非常に複雑な見た目のゲーム、そして Xbox で最初にリリースされたヒットゲームが 1 人の開発者によって開発されたとは、信じられないかもしれません。これは、Unity エンジンの柔軟性とツール チェーンの威力を十分証明しています。

Unity は、高いパフォーマンスと効率性を目指して開発されています。dots システムの 3 つの主要コンポーネントである C# Job System、ECS、Burst コンパイラについて説明します。 C#Job System では、オブジェクト指向プログラミング モデルがコンテンツとして生成され、メイン スレッドで実行されるため、開発されたゲームやアプリケーションは、統合された CPU の同時計算能力を最大限に活用できます。 2 つ目は Entity Component System (ECS) です。これにより、データをシステム、つまりゲーム ロジックから分離できるため、保守が容易になり、メモリへの負荷も軽減されます。 Burst コンパイラーは、ターゲット プラットフォーム向けに、より高性能なマシン コードを生成できます。

一方、高画質であることもUnityの非常に優れた特徴です。美しい画像をレンダリングするのに高価な PC や高価な Xbox または Play ステーションだけが必要な場合、ゲームの汎用性は実際には低すぎます。 Unity は、いわゆる可変レンダリング パイプラインである XRP を使用して、すぐに使用できる 2 セットのレンダリング パイプラインを提供します。1つはユニバーサル レンダリング パイプライン (URP) で、もう 1 つは HDRP (高解像度レンダリング パイプライン) です。 URP、いわゆるユニバーサルレンダリングパイプラインは、その名の通り、すべてのプラットフォームでサポートされています。VRゲーム、ARゲーム、モバイルゲームの開発のいずれの場合でも、URPを使用してレンダリング作業を行うことができます。 HDRP は、PC、Mac、Linux、Xbox1、BaseStation4 以上のプラットフォームを指し、リアルタイム レイ トレーシングもサポートします。

3. HD レンダリング パイプラインはどのようにしてデジタル ヒューマンの高品質なレンダリングを実現するのでしょうか?

「Pagan」デジタル ヒューマンは、実際には Unity によって制作された最初のデジタル ヒューマンではありませんが、このデジタル ヒューマンは非常にリアルで、完全なワークフローを形成している点でユニークです。 Heretic のような高品質のレンダリングを実現するには、High Definition Render Pipeline が不可欠です。

デジタルヒューマン「ザ・パガン」には、実はプロトタイプがあります。彼はロンドンのイギリス人演劇俳優、ジャックです。彼の全身のデータをスキャンし、特に頭部のデータをスキャンすることで、デジタルヒューマン全体が作られました。表情はとてもリアルです。表情アニメーションの作成には、4Dボリュームビデオ技術が使用されています。実は、この技術は非常にリアルな表情を生み出すことができますが、リアルタイムで動かすことができないという欠点もあります。映画やテレビのキャラクターの表情アニメーションを問題なく作成できますが、リアルタイムで動かすことはできません。

成功例としては、目のレンダリングと肌のレンダリングが挙げられます。それぞれを個別に見ていきましょう。

肌の質感を向上させるために、以下の技術が追加されました。ディテールマップはディテールマップです。セカンダリ スペキュラ ローブは 2 番目のレイヤーのハイライト、キャビティ スペキュラ オクルージョンはハイライトをブロックできるくぼみ、スクリーン スペース サブサーフェス スキャタリングはスクリーン スペースでのサブサーフェス スキャタリングを指します。

最初のディテール マップは、主に肌の表面やその他のテクスチャの詳細をシミュレートするために使用されます。このテクスチャは大きくなく、1K テクスチャです。

2 番目のハイライト レイヤーであるセカンダリ スペキュラ ローブは、肌の表面の油層をシミュレートするために使用されます。肌は油っぽく、乾燥しているように見えるため、この方法を使用して 2 番目のハイライト レイヤーを追加する必要があります。

3 つ目は、凹部の中央のハイライトをカバーするために使用される、凹部ハイライトです。 2 番目のハイライト レイヤーを追加すると、肌の凹んだ部分にもハイライトが表示されますが、これは明らかに非現実的です。凹んだ部分にハイライトが表示されないように、ハイライトをマスクする必要があります。

4 番目はスクリーン空間サブサーフェス スキャタリングで、肌自体の効果を作成するために使用されます。皮膚自体には、いわゆる 3S 効果、つまり表面下散乱効果があることがわかっています。皮膚には明らかにサブサーフェス スキャタリングが必要ですが、従来、MAYA や 3Dmax などのオフライン レンダリング ソフトウェアを使用して皮膚をシミュレートする場合、サブサーフェス スキャタリング効果のレンダリングには非常に時間がかかります。 Unity では、サブサーフェス スキャタリング効果をレンダリングする手法が実際に 2 つあります。 1 つ目は、より高速にレンダリングできるスクリーン スペース サブサーフェス スキャタリング技術です。2 つ目は、明らかによりリアルなライト フライト メソッドです。

このキャラクターは、短編映画「The Clockwork Musician」に登場する少女です。この少女のキャラクターも、画面空間でサブサーフェス スキャタリング効果を使用しています。右側の葉も実際には表面下散乱の効果を使用しています。

次に、目のレンダリングについて説明します。実際、目は非常に複雑な物体で、多くの部分で構成されています。リアルタイム レンダリングで実際の眼球をシミュレートし、角膜、瞳孔、虹彩、強膜の 4 つの部分をシミュレートすることで、非常にリアルな効果を得ることができます。

写真に見られるように、私たちの眼球自体は非常に複雑な物体です。正面から見るのと横から見るのとでは、特に虹彩の遠近屈折現象が顕著に表れるのが実情です。正常にレンダリングされれば、この写真はGDCで非常に有名なデジタルヒューマンキャラクターになるでしょう。

デジタル人間の眼球は、実際の眼球の形状に基づいてモデル化されており、眼球のさまざまなパラメータを表示するための特別なペインタが備わっています。反射、強膜と虹彩の法線マップ、異なる法線値を適用することで表現できる効果、さらにはまぶたの閉塞も含まれます。別のコントローラーを介して、まぶたの効果を制御できます。

要約すると、表情は、実際のスキャン データを使用してブレンド シェイプ、リンクル マップ、カラー マップ、フェイシャル リギングを通じて作成され、コントローラーによって制御されます。もちろん、この表情を動かす方法は他にもたくさんあることもわかっています。実際、肌や目、髪の毛をレンダリングするのは比較的簡単ですが、表情を動かすのは実は非常に難しいのです。

開発者から「なぜ Unity のようなエフェクトを生成できないのか」という質問をよく聞きます。 Unity が発表したデモエフェクトは、多くの人たちによって多大な努力をかけて作成されたものであり、彼らが使用する技術は、実際に彼らが作成したバージョンでは利用できないものです。このデモが完成し、これらの技術が揃ったら、次のバージョンに徐々に組み込まれ、最終的には誰もが使用できる機能的なバージョンが形成されます。

4. デジタルヒューマンを作るプロセスとはどのようなものですか?

『The Heretic』の完成後、Unity China チームは『The Heretic』の技術や 4D スキャンなどの技術を応用し、実際に独自のデジタル ヒューマンを制作しました。

これは実際のプロジェクトであり、プロセスは実際には Heretic のプロセスとまったく同じでした。これには、データのクリーニング、対応するブレンド シェイプの作成、リンクル マップの作成、リグの作成、そしてエクスプレッションの駆動が含まれます。ASSETStore のコントローラーでは、アニメーション クリップとブレンド シェイプを使用してエクスプレッション アニメーションを表示します。もちろん、Market による追跡、ARKit による追跡、画像データによる駆動など、顔の特徴をキャプチャする方法は実際には他にもあります。

実際の開発では、カメラで表情を撮影して人間の頭部の表情をテストしたりしますが、画像データで駆動させる方法もあります。非常に大きな違いは、彼女の髪が長く流れるような形になっていることです。この長く流れるような髪は、Unity China チーム自身が開発したソリューションです。URP と HDRP に適しており、一般的なレンダリング パイプラインと高解像度レンダリング パイプラインの両方で髪を生成するのに適しています。髪の毛のレンダリングは、従来の挿入スタイルの方法とは大きく異なります。非常に滑らかになり、ヘッド＆ショルダーズのコマーシャルのような効果さえ感じられます。表情は実際には AR cade によってリアルタイムで駆動されており、もちろん表情の駆動には AR cade が使用されています。

Unity のデジタル ヒューマンの 1 つに Emma があります。このデジタル ヒューマンの表情は、Ziva Dynamics テクノロジによって完全に動的に制御されます。コアとなるテクノロジは、実際には、モデルの下または生物の皮膚の下の筋肉群をシミュレートすることです。恐竜の実際の体の筋肉の動きをシミュレートできるだけでなく、このテクノロジを、たとえば非常にリアルなデジタル ヒューマンの表情や動きのシミュレーションに適用することもできます。従来、モデルは外側にシェルの層がある空のシェルです。しかし、Ziva Dynamics のテクノロジーでは、その背後に実際に解剖学に基づいた筋肉があります。これらの筋肉が実際に動かされると、外側のスキンは、従来のブレンド シェイプやボーン バインディング方法よりもさらに高いレベルのリアリティを実現できます。

今年 3 月、Unity は GDC で「Enemies」の最新デジタル ヒューマン トレーラーを公開しました。このデジタル ヒューマンの表情は、実にリアルです。彼女の髪は、Unity がまもなくリリースするファー レンダリング テクノロジー、つまり HDRP 高解像度レンダリング パイプラインに適用された髪のセットであることは特筆に値します。

MetaCon の公式 Web サイトへようこそ。ここでは、Metaverse とデジタル ヒューマンについて詳しく知ることができます。アドレス: https://metacon..com/