ニューラルスタイル転送アルゴリズムで絵を描くことを学習する人間は、芸術分野で人工知能に負けるのでしょうか？

人工知能はますます多用途になり、すでに私たちの仕事のすべてを人工知能が引き継ぐことができるようです。おそらく将来、誰かが言ったように、人間は芸術と哲学の研究だけを担当するようになるかもしれません。

しかし、芸術分野は失われつつあるようです。

[[201691]]

Prisma を使用したことがある人なら、写真を有名な絵画のようなスタイルに変えるのは指を動かすだけであることに気付くはずです。実際、ニューラル ネットワークは、1 つまたは 2 つの例だけで、さまざまなスタイルをすばやく学習できます。この手法は、「ニューラル スタイル転送」と呼ばれます。

ニューラルスタイル転送を実装するにはどうすればいいですか?

畳み込みニューラル ネットワークは、画像を「コンテンツ」と「スタイル」に分割します。キャプチャ時に、高レベルのニューラル ネットワークが色や配置などの画像のスタイルをキャプチャします。基礎となるニューラル ネットワークは、画像の内容、つまり画像の詳細をキャプチャします。

これはニューラル スタイル転送の最初のステップにすぎません。スタイルをキャプチャした後、変更が必要な画像にスタイルを反復適用する必要があります。

通常、スタイルを反復する方法は 2 つあります。1 つは画像に基づいており、画像のピクセルを直接更新および反復して、最終的にスタイルの転送を実現します。多くのアルゴリズムは、プロセスの一部として平均差を計算し、スタイル イメージとコンテンツ イメージの差を測定します。 2 つの画像を位置合わせして、画像の反復によって発生する損失とエラーを削減します。

もう 1 つは、モデルの反復に基づいています。特定のスタイルで大量の画像を反復処理する必要がある場合、フィードフォワード ネットワークをトレーニングし、モデルを反復的に更新することで、勾配降下法を使用してネットワーク モデルを最適化できます。

絵画だけでなく、ニューラルスタイル転送アプリケーション

ニューラル スタイル トランスファーは Photoshop フィルターのアップグレード版に過ぎないと考えているなら、それは間違いです。多くの事例が、この技術がますます多くの分野に応用されていることを示しています。

たとえば、Flipboard のソフトウェア エンジニアはかつて、ニューラル スタイル転送を中国語フォントに適用したプロジェクトをリリースしました。

約 2,000 種類のサンプル フォントを提供することで、ニューラル ネットワークは部首や画風の違いを認識し、最終的にフォント間の変換を実現できます。

例えば、トワイライトのヒロイン、クリステン・スチュワートが主演した映画「カム・スイム」では、印象派の絵画スタイルと映画の映像を組み合わせるためにニューラル・スタイル転送技術も使用されました。この点に関して、クリステンは「ニューラル スタイル トランスファーを使用して映画「Come Swim」で印象派スタイルを実現する」というタイトルの論文も執筆しました。

上の図に示すように、絵画からスタイルが抽出され、アルゴリズムの反復を通じて画面上にレンダリングされます。しかし、この論文ではコスト、特に時間コストの問題についてはほとんど言及されていません。 「Come Swim」のストーリーは、半分は現実（未処理の画像）で、半分は夢（ニューラル スタイル転送によって処理された画像）です。撮影の観点から言えば、直接レンダリングする方が当然便利です。完全にアニメーション化された映画の場合、最初に撮影してからレンダリングするこの方法が、直接コンピューターで描画するよりもコスト効率が良いかどうかは、まだ議論する価値があります。

ニューラルスタイル転送は本当に芸術を「置き換える」ことができるのか？

実際、ここまで言うと、ちょっとセンセーショナルに聞こえるかもしれません。芸術的な観点から見ると、ニューラル ネットワーク転送は単なる別の種類の「タイポグラフィ」です。 かつて、タイポグラフィはイメージをコピーするものでした。一方、ニューラル ネットワーク転送はスタイルをコピーするものでした。

さらに、ニューラル ネットワークの移行には「創造的」な能力がありません。反復する画像コンテンツが与えられなければ、意味のない混沌としたピクセルしか生成できません。現在、画像セマンティックレイアウト技術を利用してAIに全く新しい画像を作成させている人もいますが、AIにとってはこれは単なる模倣に過ぎません。創作物には感情が込められておらず、私たちが定義する芸術とはかなり異なる可能性があります。

（お絵かきロボット）

しかし、ニューラル スタイル転送によって、アートの商業化のプロセスで人々の時間を大幅に節約することができます。

たとえば、フォント プロジェクトでは、アーティストは少数の文字を含むフォントを作成するだけでよく、残りはマシンが行います。もう 1 つの例は、「Cool Swim」などの映画や TV シリーズのポストプロダクション作業です。この作業では、スタイルを確立し、その後映画全体のレンダリングを完了するために必要なのは、数枚の絵画だけです。

現在、ニューラル スタイル転送はアニメーション業界での応用に最も適しています。例えば、新海誠監督の作品は現実の風景との類似性が高く、独特の色彩表現をしていることで有名です。これまで、写真のポストプロダクション製品では、新海誠風のフィルターが発売されており、風景写真と組み合わせると、アニメのシーンに非常に似たものになります。ニューラル ネットワークの移行により、この作業がより適切に実行できるようになります。アニメ原稿の着色なども含めて、業界の作業効率を大幅に向上させることができます。

これは芸術的創造に対する新たな疑問も提起します。「スタイル」の所有権を確立すべきでしょうか? 結局のところ、ニューラル ネットワーク移行を使用すれば、誰もがゴッホを本物そっくりに模倣できるのです。絵画がもともと私が作成したもので、それを他の人のスタイルで繰り返し処理した場合、その絵画の作者は私か他の人か、それともアルゴリズムの開発者のどちらになるのでしょうか。模倣のコストが極めて低い場合、模倣と盗作の境界線をどのように引くのでしょうか。

もちろん、これはすべて後の話です。科学技術の発展は、人々の生活に便利さをもたらすだけでなく、さまざまなものの定義を絶えず刷新しています。 100 年前と同じように、私たちは芸術はキャンバスと絵の具でしか作成できないと信じていましたが、今ではデジタル タブレットと Photoshop が芸術を作成するためのツールになっています。人工知能は、人間から創造する権利を奪うことも、芸術を「排除」することもしません。人工知能は、この素晴らしい大義をより高いレベルに引き上げるだけです。