顔認識、今やアニメキャラクターも例外ではない

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

アニメをたくさん見ていると、登場人物の顔がわからなくなってしまうことがありますか?

あるいは、2D の妻の容姿アルバムを編集したいだけなのに、大手検索エンジンで妻の写真を検索しなければならないのですか?

iQiyi がリリースした漫画の顔認識ベンチマーク データセットであるiCartoonFace をお試しください。これを使用して AI をトレーニングし、アニメ素材の検索を支援すれば、わずか数分で効率が 2 倍になります。

顔の形は似ているが役割が異なる 2 次元のキャラクターの場合、正確に識別できます (顔が見えない人にとっては朗報です)。

キャラクターの視点が変わった場合も、正確に識別できます。

それだけでなく、顔が大きく隠れている場合でも正確に識別できます。

影や照明に関しても、問題はありません。木の陰に立っていても、AI によって「検出」される可能性があります。

その効果は既存のリアル顔認証と比べても決して劣りません。

それで、この技術はどのように開発されたのでしょうか?

現実のデータを組み合わせて漫画の顔認識を訓練する

チームは、漫画や実在の人物を対象としたマルチキャラクタートレーニングフレームワークを提案しました。これは主に、分類損失関数、未知のアイデンティティ拒否損失関数、ドメイン転送損失関数の3つの部分で構成されています（下図を参照）。

その中で、分類損失関数は主に漫画の顔と実際の顔を分類するために使用されます。

未知のアイデンティティ拒否損失関数は、異なるドメイン間の教師なし正規化投影を実行するために使用されます。

ドメイン転送損失関数に関しては、漫画ドメインと現実ドメインの差を減らし、それらの相関を制限することが目的です。

このフレームワークについて、研究者たちは 3 つの質問を検討しました。どのアルゴリズムが最適か?顔認識は漫画認識に役立ちますか?文脈情報は漫画の認識に役立ちますか?

実験結果から判断すると、 ArcFace+FL が最も効果的であったため、チームは今回このアルゴリズムを選択しました。

最後の 2 つの質問に対する答えも肯定的です。

下の図の青い線から、実在の人物の顔認識情報を追加すると、漫画の検出にも役立つことがわかります。

文脈情報についても、研究チームは実験を行いました。下の図は、漫画の顔に基づいて、さまざまなスケールでのアルゴリズムの認識性能を示しています。実験により、文脈情報が豊富であればあるほど、顔認識の効果が高くなることがわかっています。

実際、動物のキャラクターからトレーニングされた特徴サンプルは、人間の顔と比較するとまだ少し奇妙です。

以下の写真は、元の画像とそれに対応する特徴のサンプルを示しています。アニメの男の子や女の子と比較すると、レインボーキャットの特徴は少し...予測できないようです。

しかし、これは標準的で大規模なアニメ顔データセットが必要であることも示しています。

データのラベル付けには1つのステップだけが必要です

研究者らは、手作業によるラベル付けの作業負荷を軽減するために、iCartoonFace データセットを構築するための半自動データセット構築フレームワークを設計しました。

下の図に示すように、このフレームワークは 3 つの段階に分けられます。

まず、データはレイヤーごとに収集されました。まず、アルバムやキャラクター名などの漫画の画像情報を取得し、次に漫画のキャラクターの画像を取得して、データセットの構造を非常に明確にします。

次に、データをフィルタリングします。漫画の顔検出、特徴抽出、特徴クラスタリングは、画像データからノイズを除去するために使用されます。

その中で、特徴抽出器のパフォーマンスは変化します。ラベル付けされたデータの量が増えるにつれて、パフォーマンスは向上し続けます。

最後に、注釈者は、特徴クラスタリングの結果に基づいて、2 枚の写真が同一人物のものであるかどうかを判断するという 1 つのステップのみを実行する必要があります。

最大の漫画キャラクター注釈データセット

実際、実際の人物の顔認識のための技術やアルゴリズムはすでに多数存在しています。

しかし、2次元顔認識のためのデータセットはまだ非常に少なく、ほとんどのデータセットはノイズ率が高い、データ量が少ないなどの問題を抱えています。

しかし、そのような需要は確かに存在し、動画の構造化分析に限らず、画像検索や広告認識などのシナリオにも適用できます。

たとえば、クリエイターにインテリジェントな編集機能を提供したり、偽の似顔絵や漫画風のキャラクターを確認して識別したりすることができます。

この現象に対処するため、iQiyi は、 5,000 を超える漫画キャラクターと 400,000 を超える高品質の実物写真を含む、手動で注釈が付けられた世界最大の漫画キャラクター検出および認識データセットである iCartoonFace を公開しました。

下の図は、iCartoonFace と他の既存のアニメーション データセットの比較です。このデータセットに基づいてフレームワークを設計すると、漫画のキャラクター認識のパフォーマンスを効果的に向上できます。

おそらく、観客はもはやアニメキャラクターに対して「顔盲目」ではなくなるだろう。

ポータル

論文リンク:
出典: http://arxiv.org/pdf/1907.13394.pdf

データセット（競争データセット列内）:
https://iqiyi.cn/icartoonface