Volcano Engineがビヨンドのクラシックコンサートを超高解像度で復元、その技術的能力が一般公開される

7月3日夜、TikTokはユニバーサルミュージック傘下のレーベル、ポリグラムと提携し、ボルケーノエンジンによって超高解像度に復元された「ビヨンドライブ1991ライフコンタクトコンサート」と「メモリアルコンサート」の厳選コンテンツを放送し、1億4千万人以上の視聴者を魅了した。

Beyond は 1983 年に結成されたロック バンドです。広東音楽の台頭により、バンドの名前は時代を象徴する文化的シンボルとなりました。 「Beyond Live 1991 Life Contact」は、ホンハム・コロシアムで開催されたビヨンドの最初のコンサートでした。その後ポリグラムからリリースされた DVD は、1990 年代にはほとんど入手困難でした。それから31年、このコンサートは数世代にわたるファンにとって音楽の啓蒙と青春の思い出となりました。

当時の撮影機材、記憶媒体、録​​音機器の技術の限界により、コンサートのマスターテープやインターネット上で流通しているさまざまなバージョンの音声やビデオの品質は低かった。ビヨンドの名作を、より快適に視聴して再現できるよう、画質・音質ともにボルケーノエンジンを改修しました。

Volcano Engine Multimedia Laboratory によると、初期のソフトウェアとハ​​ードウェア機器の遅れにより、映画の制作、圧縮、伝送中に画像のぼやけ、テクスチャの損失、ノイズ欠陥などの問題が発生しました。この修復の難しさは、できるだけ多くの詳細を復元しながら画質を向上させ、色を最適化してレトロな雰囲気を維持し、さまざまなサイズや姿勢の肖像画の修復効果を調整することです。

「私たちの目標は、全体的な画像の鮮明さ、顔の特徴の復元、色の明るさ、滑らかさ、美しさの面で画質を向上させることです。」画質の面では、この復元では、鮮明度の向上や欠陥の修復、部分的な色の明るさの向上などのアルゴリズムを使用して、初期のソフトウェアおよびハードウェア機器の遅れによって引き起こされた問題に対処します。ビデオ解像度は 540p 未満から 4K 近くまで向上し、フレーム レートは 25fps から 60fps に向上します。

ポートレート強調アルゴリズムの復元により、アイライナーや毛穴など、黄佳菊の顔の細部がはっきりと見えるようになりました。

さらに、Volcano Engine マルチメディア研究所は、顔の圧縮によるダメージ、ぼやけ、低解像度などの問題を修復および強化するための独自の適応型ポートレート強化アルゴリズムも開発しました。この技術はディープラーニングをベースとしており、顔全体のぼやけや圧縮によるダメージを排除しながら、顔の主要な特徴の細部をさらに再構築します。修復後、登場人物の顔のひげや毛穴がはっきりと見えるようになり、観客に優れた視覚体験を提供します。

音質の回復に関しては、Volcano Engine オーディオ技術チームは、オーディオ ノイズ低減、オーディオ スーパー解像度、ラウドネス アルゴリズムを使用してノイズを除去し、音質を向上させ、ラウドネス、ノイズ干渉、帯域幅不足などの問題を解決します。

このノイズ低減アルゴリズムは、従来のノイズ低減ソリューションとは異なり、音楽シーンやボーカルシーン向けの AI ノイズ低減アルゴリズムと互換性があり、音楽とボーカルを維持しながら周囲のノイズを抑制します。オーディオ超解像アルゴリズムは、コンサートのボーカル部分の周波数帯域を拡大し、高周波情報を豊かにし、ボーカルをより明瞭にします。スペクトル図から、超解像モジュールの処理によって元のオーディオの高周波部分が拡張され、強化されていることがわかります。

オーディオ超解像アルゴリズムの処理により、元のオーディオの12kHzを超える高周波情報がある程度補完され、修復されました。

コンサートでは、収音条件が異なるため、コンサートでの歌声は楽器の音や周囲の音に比べて小さすぎることがあります。Volcano Engineオーディオ技術チームは、ラウドネスアルゴリズムを使用して、まず歌唱部分を個別に抽出し、次に歌唱部分のラウドネスを調整し、最後にミックスして全体のボーカルをより快適にします。

これらのコンサート復元機能は、Volcano Engine のインテリジェント処理およびオーディオ技術製品を通じて外部に提供されていると理解されています。さらに、Volcano Engine は、アップロード、トランスコード、送信、消費などのリンクを網羅した画質チェーン全体のエンドツーエンドのソリューションも公開し、画質、ビットレート、エクスペリエンスの面でビデオ コンテンツの総合的な最適化を実現します。

デジタル技術は文化継承の原動力になりつつあります。関連報道によると、2021年10月、西瓜動画と火山エンジンは「古典動画4K復元計画」を立ち上げ、技術的な手段により、計71本の古典アニメが復元され、復元されたコンテンツは西瓜動画と仙世光テレビで無料で視聴できる。

Volcano Engineの担当者によれば、今後はより高度な技術を使って古典的なイメージを復元し、古典に新たな命を吹き込む予定だという。