口を動かしてゴッホの傑作を生き生きと表現しましょう!朱俊燕チームの最新AIモデル、テキストで川の方向を制御でき、映画の繊細な質感が十分に表現されている

口を動かしてゴッホの傑作を生き生きと表現しましょう!朱俊燕チームの最新AIモデル、テキストで川の方向を制御でき、映画の繊細な質感が十分に表現されている

CVの大物、朱俊燕氏の新論文がアニメーターたちに脅威を与える。

たった 1 つの文だけで、モデルは一貫したスタイルと優れた品質のアニメーションを生成できます。

ゴッホの「星月夜」を参考に、山の前を流れる小川のシーンを描きます。

または、アフレモフのスタイルで、山から滝が流れ落ちる風景を描きます。

最近、CMU と Snap の研究者は、テキストの説明に基づいて映画の画像を作成するための完全自動手法、Text2Cinemagraph を構築しました。

写真

論文アドレス: https://arxiv.org/pdf/2307.03190.pdf

さらに、研究者らは、既存の図面をアニメーション化し、テキストを使用して動きの方向を制御するための 2 つの拡張機能を実演しました。

まずはデモを見てみましょう。

デモは近日公開予定

上のゴッホの「星月夜」の流れの方向は、口を動かすことで制御できます。

たとえば、左から右へ。

それから右から左へ。

同じスタイル、異なる視点。

海上の帆船の映画品質の画像。

夕暮れ時に丘の間に流れ落ちる大きな滝。ゴッホの絵画のようなスタイル。4K。

ピカソ風、湖に浮かぶボートのある小さな木造の家。

触手が塔全体に巻き付いている海の怪物に灯台が攻撃されている超リアルなイラスト。

シュールで夢のような滝のシーン

Text2Cinemagraph プロジェクト

現在、既存の単一画像アニメーション手法は、芸術的な入力の点で不十分です。

しかし、最先端のテキストベースのビデオ方式では、時間的な不整合が生じることが多く、特定の領域を静止状態に保つことが困難です。

これらの課題に対処するために、研究者は、単一のテキストプロンプトから画像ツイン、つまり芸術的な画像のペアとそのピクセル配置を合成するというアイデアを提案しました。

芸術的な画像はテキスト キューで詳細に説明されているスタイルと外観を表現し、現実的な画像はレイアウトとモーション分析を大幅に簡素化します。

Text2Cinemagraph は、既存の自然画像とビデオ データセットを活用して、リアルな画像を正確にセグメント化し、意味情報に基づいて妥当な動きを予測できます。

予測された動きは芸術的な画像に変換され、最終的な映画のようなアニメーションが作成されます。

具体的には、テキスト プロンプト c が与えられると、Stable Diffusion を使用して、テキスト プロンプトで説明されているスタイルの芸術的な画像 x と、修正されたプロンプトを使用した現実的な対応画像のツイン画像が生成されます。ツイン画像はセマンティックレイアウトが似ています。

次に研究者らは、芸術的な画像生成プロセス中に得られた自己注意マップから動き領域のバイナリマスク M を抽出しました。

マスクとリアルな画像を使用して、フロー予測モデルでオプティカルフローを予測します。

ツイン画像は非常に類似したセマンティックレイアウトを持っているため、オプティカルフローとビデオジェネレーターを使用して芸術的な画像をアニメーション化できます。

この研究のすべての実験は安定拡散に基づいていることは言及する価値があります。

研究者たちはその結果を実際のオプティカルフローと比較した。

SLR-SFS、Holynski らによって研究された単一画像アニメーション手法と比較すると、Text2Cinemagraph はすべてのフレームにわたって真のオプティカル フローを平均化します。

全体的に、最新の方法では、対象領域とより一致する、より合理的な動きを予測できます。

さらに、ユーザーの嗜好調査では、ほとんどの参加者が Text2Cinemagraph を支持していることが示されました。

最後に、研究者たちは、既存の描画をアニメーション化し、テキストを使用して動きの方向を制御するという 2 つの拡張機能を実証しました。

既存の絵画をアニメーション化する

以下はロシア美術館に展示されている『第九の波』(1850年)です。

ミネハハ滝、アルバート・ビアスタットによるキャンバスに描かれた油絵。

著者について

ジュンヤン・チュー

Junyan Zhu 氏は、CMU のコンピュータサイエンス学部のロボット工学研究所の助教授であり、コンピュータグラフィックスにおける最新の機械学習アプリケーションの先駆者です。

CMU に入社する前は、Adobe Research の研究科学者でした。

彼は MIT CSAIL のポスドクとして、ウィリアム・T・フリーマン、ジョシュ・テネンバウム、アントニオ・トッラルバとともに研究をしていました。

彼はまた、アレクセイ・A・エフロス氏の指導の下、カリフォルニア大学バークレー校で博士号を取得しました。清華大学でZhuowen Tu、Shi-Min Hu、Eric Changの指導を受け、学士号を取得しました。

<<:  Midjourneyの隠されたスキルをアンロックする:プロンプトを変更すると、4つの正方形のグリッドが「分裂」します

>>: 

ブログ    
ブログ    
ブログ    

推薦する

フォード・オブ・ヨーロッパ、ロボット運転手を試験的に導入

海外メディアの報道によると、欧州フォードはロボットテストドライバーを導入し、自動化に向けて新たな一歩...

...

...

2021 年に注目すべき 27 の建設技術トレンド (パート 3)

テクノロジーは建設業界にかつてないほど大きな影響を与えています。クラウドベースのコラボレーションやデ...

人工知能は「教育革命」を起こしている

人工知能は教育分野に大きな波を起こしている。この傾向は、北京師範大学とiFLYTEKが共催した「人工...

...

あらゆるシーンのあらゆるもの: リアルなオブジェクトの挿入 (さまざまな運転データの合成に役立ちます)

あらゆるシーンのあらゆるもの: フォトリアリスティックなビデオオブジェクト挿入論文リンク: http...

...

冬季オリンピックの AI: 氷と雪の世界における 5 つの「テクノロジーの花」

2022年2月4日、第24回冬季オリンピックが北京で正式に開幕しました。 2008年の「一つの夢」...

ボストン・ダイナミクスのロボット犬が再び進化:自分でルートを計画することを学習

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...

ロボットは拡大し続ける分野で反復的な労働に取って代わり、人間と機械の協働の時代が到来した。

海外メディアの報道によると、テキサス州ダラスの大規模病院「メディカル・シティ・ヘルスケア」に最近、全...

チャットボットの機械学習セキュリティの重要性

人工知能は、大手テクノロジー企業、新興企業、大学の研究チームによって推進されている成長産業です。 A...

この記事では人工知能とは何かを徹底的に解説します!

人工知能 (AI) は、自然科学のさまざまな分野を網羅しており、主に特定の種類の知的な人間の活動をモ...

...