Metaの最新自社開発チップの結果が明らかに、7nmプロセス、RISC-V CPUを統合

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

海外メディアROAD TOVRによると、Meta Reality Labsの研究者らが、Codec Avatarsプロジェクトのレンダリングをサポートし、AI処理専用のカスタムアクセラレータチップを搭載したVRヘッドセットのプロトタイプを作成したという。

Facebook が社名を Meta に変更するずっと前から、同社は VR で「写真のようにリアルな」仮想アバターを実現することを目指す Codec Avatars プロジェクトに取り組んでいた。このシステムは、AI 処理と、視線追跡や口追跡などのデバイス上のセンサーを組み合わせて、ユーザーの顔を可能な限りリアルな方法で仮想世界に投影します。

Codec Avatars 研究の初期バージョンは、NVIDIA Titan X GPU の計算能力によって実現されました。しかし、Meta の最新の Quest 2 オールインワンデバイスのようなデバイスでは、その機能を十分に活用することはできません。

このため、Meta は Codec Avatars プロジェクトの機能を低電力のオールインワン デバイスに実装する方法に取り組んでいます。

先月開催されたIEEE CICCカンファレンスで発表された論文の中で、MetaはCodec Avatarsのアクセラレータとして機能する7nmプロセスを使用したカスタムチップを設計していることを明らかにした。

実際、Meta のチップ製造計画は 2018 年にはすでに始まっていました。 2018年4月、Facebookはシャリアール・ラビー氏を副社長兼チップ部門責任者として採用した。ラビー氏は以前Googleに勤務し、Pixelスマートフォン向けVisual Coreなどのチップの開発に携わっていた。

研究者らは、このチップが紙の上から現実のものになるまでにはまだ長い道のりがあると述べている。

チップ設計プロセス中に、設計者はコーデック アバター モデルの生成に必要なデータを考慮しました。

「テストチップは7nmプロセスを採用しており、1024の積和演算アレイ、2MBのオンチップSRAM、32ビットRISC-V CPUで構成されるニューラルネットワークアクセラレータを搭載している」と研究者らは述べた。

一方、チップの特定のアーキテクチャに合わせるために、設計者はコーデックアバター AI モデルの一部も再構築しました。

「畳み込みニューラルネットワークベースの視線モデルを再構築し、ハードウェア向けにカスタマイズしてチップに適したものにしました。これにより、オフチップメモリ​​アクセスのエネルギー消費と待ち時間が削減されます」とリアリティラボの研究者は書いています。

アクセラレーション チップは、モデルの動作を高速化するだけでなく、コーデック アバターのワークロードの重い部分を高速化することで、電力と熱を削減します。チップのカスタマイズの利点により、このカスタマイズされたチップは、電力と音量制御の点で一般的な CPU よりも多くの利点があります。

研究者らによると、このチップはすでにコーデックアバターモデルを毎秒30フレームで実行できるという。同時に、消費電力が低く、サイズも小型です。

専用チップの高速化により、Meta の Codec Avatars はオールインワン デバイスでも実行できるようになるかもしれません。しかし、アバターの視覚的なレンダリングがどの程度うまく機能するかはまだわかりません。オールインワン以外のマシンで実行する場合、モデルはユーザーのスキャンを非常に詳細にモデル化しますが、Quest2 などのオールインワン マシンでは完全にレンダリングするには複雑すぎる可能性があります。これらの客観的な条件の制約下で、コーデック アバターの強力な「リアルな」画像が最終的にどのように見えるかはまだ不明です。

この特別に設計されたアクセラレーション チップにより、XR 固有のさまざまな機能が実現できると考えられます。たとえば、XR プレイヤーは、没入感を高めることができる空間オーディオが XR の世界に実装されることを望んでいます。ただし、リアルなサウンドシミュレーションは、実際の使用時にコストが増加するだけでなく、バ​​ッテリー寿命にも影響します。

さらに、位置追跡とジェスチャ追跡も XR エクスペリエンスの重要な部分であり、これらの領域のハードウェアとアルゴリズムを組み合わせることで、XR デバイスの速度とパワーを大幅に向上させることができます。