非常に高価なイエス像はレオナルド・ダ・ヴィンチによって描かれたのでしょうか？アメリカ人夫婦が美術品の贋作を検出するAIプログラムを開発、CNNが報道

  [[419606]]

昨年、アメリカ人のカップル（スティーブン・フランクとアンドレア・フランク）が、専門家による美術作品の真贋鑑定を支援する AI プログラムを開発しました。

以前、彼らはこの AI プログラムを使用して、レンブラントやゴッホの絵画を識別しました。

最近では、二人はレオナルド・ダ・ヴィンチの絵画『救世主』に注目している。

この絵画は、2017年にニューヨークで開催されたクリスティーズのイブニングオークションで4億5000万ドル（約29億人民元）で落札され、オークションで販売された美術作品としては史上最高額となった。

しかし、これがレオナルド・ダ・ヴィンチによって描かれたものかどうか疑問視する人もいます。

CNN による美術品の贋作検出: 問題解決から始める

夫婦が AI プログラムを開発するプロセスは明確かつ組織的であり、問​​題を発見して解決するものでした。

まず、ニューラルネットワークを使用して絵画を分析することの難しさについて分析しました。

1 つはサイズです。高解像度の絵画画像は従来の CNN には大きすぎますが、CNN に適した画像には判別に必要な情報が不足している可能性があります。

2 つ目はデータです。ニューラル ネットワークには何千ものトレーニング サンプルが必要であり、「量は質に等しい」と言えます。ただし、最も多作なアーティストでも、生涯でこれほど多くの絵画を描くことはできません。

困難を実感した２人は「絵画の所有権をめぐる紛争の解決にコンピューターがほとんど貢献していないのも無理はない」と嘆いた。

諦めるなんて無理！スティーブンはすぐに、病理学者がデジタル化された生検スライドで行うのと同じように、画像を小さなセグメントに分割できることに気付きました。

このようにして、サイズとデータの両方の問題が解決されます。これは、特にパッチが重なり合う可能性がある場合、単一の画像から多数のトレーニング パッチが生成される可能性があるためです。

さらに、彼らのシステムはトレーニングとテストを経てタイルの最適なサイズを決定することができます。

レンブラントの「若い紳士の肖像」の 400×400 ピクセルのタイル

次に、使用可能なタイルを決定します。

これも難しい問題です。例えば、「救世主」の一部の領域は画像情報が非常に豊富ですが、他の領域は単なる背景で、平凡で区別がつきにくいです。

CNN をトレーニングする場合、情報が少ない領域は役割を果たさず、CNN を誤らせる可能性もあります。

したがって、コンピュータには、実行可能なタイルを自動的かつ一貫して識別するのに役立つ何らかの標準が必要です。

しばらく考えた後、スティーブンは情報理論に触発され、背景や視覚的に単調な領域を選択するときに、エントロピーの低いブロックを除外できることを発見しました。

情報理論の創始者、クロード・シャノン

その結果、コンピュータによって選択されたタイルは、人間が自分で選択するタイルと一致する可能性が高くなります。

『救世主』の場合、選ばれたパネルにはイエスの顔、脇腹のカールと祝福の手が含まれており、これは作者を議論する際の学者たちの焦点と一致している。

この問題が解決したら、データセットを処理します。

彼らはオランダの巨匠レンブラントの肖像画から実験を始めることにしました。

このデータセットには、レンブラント自身と他の人による絵画が含まれるはずです。

しかし、ここで再び問題が発生します。

システムをレンブラントの肖像画 50 枚とランダムに選択された他の芸術家の肖像画 50 枚でトレーニングした場合、レンブラントとピカソ (スタイルが大きく異なる) を区別することはできますが、贋作者は言うまでもなく、ピカソの弟子と模倣者を区別することは困難です。

しかし、トレーニング セット内のレンブラント以外の絵画がすべてレンブラント自身の絵画とあまりにも類似している場合、CNN は過剰適合してしまいます。

ここでアンドレアが登場し、彼女はレンブラント以外の絵画のデータセットをまとめました。

いくつかの作品はレンブラント自身の絵画に非常に近いが、他の作品はレンブラントを彷彿とさせるものの、彼自身の作品とは容易に区別できる。

また、シンプルな CNN 設計の方が、より複雑な (そしてより一般的な) 設計よりもパフォーマンスが優れていることもわかりました。

したがって、彼らが使用した CNN には 5 つの層しかありませんでした。レンブラントの絵画を区別する実験では、正確率は90％を超えました。

ヴィンセント・ヴァン・ゴッホの風景画を区別する際の精度も非常に高いです。

一連の作業を完了した後、2人はこのAIシステムを使って「Savior Mundi」を特定した。

なぜなら、これはさらに大きな課題であり、レオナルド・ダ・ヴィンチが残した絵画はあまりにも少なく、20点未満であり、その中には未完成のスケッチもあるからです...

しかし、最終的には、パッチの合理的な分類が得られ、非常に説得力のある確率マップが作成されました。

その結果、絵画の背景と祝福の手が疑わしいことが判明した。これは専門家の意見と一致しています。

この絵画は背景の完全な再描画を含む大規模な修復を受けた。さらに、祝福の手を描いたのが誰なのかについても専門家の間で意見が分かれています。

CNNがどのようにして重要な詳細を見つけたかについては、スティーブン氏は知らないと述べた。

「CNN の中間部分は、画像の詳細を徐々に分解し、魔法のような方法で分類する一連の畳み込み層です。」

夫婦が協力してCNNを築く

驚いたことに、スティーブンはコンピューター科学者ではなく、モルガン・ルイスの知的財産弁護士です。

2012 年に EdX の電子工学入門を修了した後、彼はこのタイプのオンライン コースに夢中になり、やめられなくなりました。その後、彼はオンライン学習を通じてコロンビア大学で人工知能の大学院資格を取得しました。

彼の妻アンドレアは美術史家で、芸術画像のキュレーションに多くの時間を費やしており、引退を考えている。

スティーブン氏は、科学的な測定によって絵画の年代や詳細を判断できるが、作者を直接特定することはできない、なぜならそのためにはスタイルや技法の正確な判断が必要だからだと指摘した。

しかし、この判断作業にはコンピューター分析が適しています。特に、ニューラル ネットワークはパターンの検出に優れたコンピューター アルゴリズムです。

現在、CNNは顔認識や自動運転の支援など幅広く活用されています。

では、CNN を使用して、より多くの現実世界の問題を解決してみませんか?

そこで、2人は「CNNを使って美術品の贋作を検出する」というプロジェクトを共同で完成させ、自分たちのAIシステムを「The A-Eye」と名付けました。