AIが油絵の描き方を教えます。どんなスタイルでも習得でき、ストロークのシーケンスも数秒で表示されます。

[[417713]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

AIはすでに油絵の描き方を教えることができます。

任意の画像を入力すると、数秒以内にストロークのシーケンスが表示されます。

たとえば、世界的に有名な絵画「モナ・リザ」。

あるいはリアルな鳥。

雰囲気を盛り上げる川灯籠もあります。

つまり、どんなスタイルでもコントロールできるのです。

このテクニックは、21 時間以内に Reddit で 600 件以上のいいねを獲得しました。

どうやって作られたのですか?

フィードフォワードネットワークによるストロークの予測

ニューラル ペインティングは、与えられた画像に対して一連のストロークを生成し、ニューラル ネットワークを使用して絵画のような方法でリアルな再現プロセスを実行するプロセスです。

研究チームは、フィードフォワード ネットワークを使用してストロークのパラメーターを予測する、Paint Transformer と呼ばれるトランスフォーマー ベースのフレームワークを提案しました。

現在、Paint Transformer をトレーニングするためのデータセットがないため、研究者はオブジェクト検出にヒントを得た自己トレーニング パイプラインを設計しました。

モデル全体は、ストローク予測モジュールとストローク レンダラーの 2 つのモジュールで構成されています。

ストローク予測子は、ターゲット イメージと中間キャンバス イメージが指定されると、現在のストローク セットを決定するための一連のパラメーターを生成します。

予測子は、特徴埋め込み用の 2 つの CNN ネットワークと、パラメータ予測用のトランスフォーマーで構成されます。

次に、ストローク レンダラーはストローク セット内の各ストロークのストローク イメージを生成し、キャンバスに描画して、サイズが512 x 512の結果イメージを生成します。

DETR (Object Detection with Transformer) に基づいて、ストロークを保持する必要があるかどうかを予測するためのバイナリ ニューロンが追加されます。

これにより、既存のデータセットがなくてもトレーニングが可能になり、優れた一般化機能を実現できます。

実験では、このアプローチは、トレーニングと推論のコストが低く、従来の方法よりも優れたペイント パフォーマンスを実現することが示されています。

Baidu NDUチームによって作成

この技術は、百度、南京大学、ラトガース大学が共同で開発した。

コードはオープンソース化され、Yike フォトアルバム アプリに適用されました。

論文の宛先:
https://arxiv.org/abs/2108.03798
GitHubのURL:
https://github.com/wzmsltw/PaintTransformer