人工知能が雪の結晶をリアルタイムで捉え、約700人の足跡を追跡可能に

2月4日の北京冬季オリンピックの開会式で、若い俳優たちが「平和の鳩」を手に持ち、彼らが動くと、足元に真っ白な雪の結晶が咲いた。

同日夜の開会式での「平和の鳩」公演では、1万平方メートルを超える会場で約700人の俳優の効果をリアルタイムで撮影、追跡、提示する新たな技術的手段が使用された。この試みは、大規模な文化公演の開会式と閉会式では世界初となる。

俳優が自由に動き回ると、足元のスクリーン上のエフェクトが俳優と相互作用しますが、このいわゆる「影のような」効果は、2 つのシステムの完璧な連携から切り離すことはできません。北京電影学院学務室長兼音響学院学長の童磊氏によると、一つは人工知能をベースにした選手動作分析のリアルタイムキャプチャ技術であり、もう一つはリアルタイムレンダリングを実現するインタラクティブエンジンだという。

前者はビデオカメラを使用して、フィールド上の俳優の位置、形状、姿勢をリアルタイムでキャプチャし、識別後、俳優の関連情報を次のシステムであるインタラクティブエンジンシステムに渡すことがわかっています。 「私たちが使用するリアルタイムインタラクティブエンジンは、俳優の情報を取得し、監督や美術のクリエイティブなニーズに応じて、足元に雪の結晶が咲いたり押しのけられたりするなど、必要な効果を生成します。そして、それは俳優の足元にリアルタイムで遅延なく再現されます」とトン・レイ氏は語った。

「氷上の反射」の効果を実現するために、トン・レイと彼のチームメンバーは、まず反射の形成の物理学から始めて、多くのプログラミングとアルゴリズムのデモンストレーションを行い、その過程でより多くの、より見栄えの良い効果を生み出しました。

トン・レイ氏は、それぞれの技術はもともとそれぞれの分野で使われてきたと述べた。例えば、キャプチャ技術はアスリートのスポーツ分析に使われ、リアルタイムレンダリング技術は主に大規模なゲーム分野で使われている。今回のアイデアは、この2つの技術を完璧に組み合わせ、キャプチャから認識、そしてプレゼンテーションとレンダリングまで完全なリンクを形成し、インタラクティブな効果がリアルタイムで完璧に観客に提示されることを保証することだ。