旅の途中+第2世代、「バルペンハイマー」完成までの7つのステップにカルパシーが驚愕 | 実際のテスト体験を添付

数日前、バービー・ハイモアがインターネットで話題になって以来、ネットユーザーたちは、MidJourney+Gen-2 を使用して映画を作る魔法のようなスキルを絶えず「再現」しています。

あるネットユーザーが自身のチュートリアルを更新したが、そのチュートリアルではバルベンハイマーの制作にたった7つのステップしか必要とせず、カルパシー氏から「映画制作業界2.0」と称賛された。

完全なプロット、6 つのショット、7 つのステップで完成した 20 秒の短編アニメーション。これを見れば、曹志でさえ自分を専門家と呼ぶでしょう。

バービーヘマーを完成させる7つのステップ、その効果は驚異的

詳細なデモンストレーションを以下に示します。

1. ChatGPTはストーリーボードと字幕の作成に役立ちます

2. ストーリーボードのスクリプトに基づいて、Midjourney を使用して各ショットの冒頭で画像を生成します。

これは、7 つのステップから成るプロセスの中で、少しハードルが高い唯一のステップかもしれません。各画像に対するプロンプトの言葉を自分で作成する必要があります。

しかし、画像をクリックして拡大すると、プロンプトの単語がそれほど長くないことがわかります。英語の基礎知識がある友人なら、少し努力すればできます。

以下は、短編映画の他のいくつかのシーンの開始画像です。すべて Midjourney を使用して生成されています。

3. ビデオ内のシーンのトーンの一貫性を確保するには、写真編集ソフトウェアを使用して各写真のトーンを調整する必要があります。

たとえば、短編映画の色調はレトロなスタイルなので、Midjourney によって生成された元の画像はそれと一致しない可能性があります。

写真編集ソフトウェアで調整すると、すべてのシーンのスタイルの一貫性が高まります。

4. Gen-2 を使用して各写真をアニメーション化し、6 枚の写真を 6 つのショットに変換します。

5. 次に、ElevenLabs を使用して字幕の音声を生成します。

6. その後、FinalCut Pro を使用してアニメーション、サウンド、特殊効果を組み合わせると、短編映画が基本的に完成します。

7. Capcut を使用して字幕を追加すれば完了です。

テスト後に発見された経験

簡単そうに見えますが、実際に自分で試してみると、明確な計画がなければ満足のいく映画を作るのはやはり簡単ではないことがわかりました。

最大の障害は、Gen-2 のアニメーションは特定の画像に基づいてランダムにしか生成できないため、人間の顔に関しては歪みが多くなることです。

もともと私は、ボス・マーが宇宙船を手でこすっているビデオを作りたかったのですが、キャラクターの顔がひどく歪んでいて、各ビデオの最初のフレームだけがボス・マー自身で、1秒後にボス・マーが誰になるのか全くわからなかったことに気付きました。

なので、Gen-2を使って有名人関連の動画を作りたい場合、今のところほぼ不可能です。

さらに、これらの顔の歪みやキャラクターの動きは完全にランダムであり、ユーザーの制御の範囲外です。

あるネットユーザーは、4秒ごとに最後のフレームのスクリーンショットを撮り、Gen-2に新しいアニメーションを生成させ続けるビデオを作成しました。

約40秒後、最初はアメリカンコミック風のアニメキャラクターだった映像のキャラクターが、まるで彫刻のように歪んでしまった。

画像に明らかな動的手がかりがあったとしても、Gen-2 はまだそれを理解できないため、生成された効果が期待どおりにならない可能性があります。

キャラクターの動きをうまく制御できず、満足のいくアニメーションを生成するには、同じ絵を長時間試す必要がある場合があります。

したがって、現時点で Gen-2 が達成できる効果から判断すると、より複雑なスクリプトに自由に適応できる可能性は低いと考えられます。

そのため、脚本を書く際には、人物の顔のクローズアップなどのシーンを極力避けることが求められます。

しかし、将来的に Gen-2 がプロンプトと画像を完全に組み合わせて、プロンプトの説明に従って画像が動くようになれば、その効果は飛躍的に向上するでしょう。

その他のMidjourney+Gen-2の効果

偉大な芸術家は故郷に戻り、Gen-2 を使用して「オッペンハイマー」のいくつかのシーンを制作しました。その作品は非常にリアルで、本物と区別がつかないほどでした。

同時に、類似のシーンとPika Labによって生成されたシーンの違いも比較しました。

下の写真はピカラボの効果を示しています。

冒頭の「バービー・ハイモア」コーナー以外にも、多くのネットユーザーがGen-2とMidjouneyのゴールデンコンビを利用して、アニメ開発の副業を始めた。

素晴らしいアニメーション効果のデモンストレーションを見てみましょう。

デモンストレーションでの顔の変形はそれほど大きくなく、実際の測定とは大きく異なることがわかります。作者は何度も試行錯誤して、小さな顔の歪みの効果を発見した可能性が高いです。

一部のネットユーザーが、マーベルの有名キャラクターの予告編を作成しました。その効果は非常にリアルです。アニメーションの特殊効果や光と影が加わり、まるで公式のマーベル作品のような雰囲気です。

これはネットユーザーによって生成されたホラー映画の予告編であり、Gen-2の文字の歪みをうまく利用してホラー映画の雰囲気を高めています。

このクリップも、ネットユーザーがMJ+Gen-2を使用して作成した非常に芸術的なビデオであり、監督がポストプロダクションで新しいカメラ効果を追加しています。

油絵の静止画から生成したアニメーションです。少し歪んでいますが、効果はとても良いです。