テキストや画像に続き、AIは徐々に動画制作にも進出しています。意欲的なAIディレクターがRedditで初めての成果とワークフローを共有しています。

YouTubeチャンネル「Machine_Mythos」は、テキストからビデオへのモデルや他のAIツールを試して、AIを使用したショートフィルムを制作しています。「The Day Hell Froze Over」の短いビデオでは、AIディレクターはAIによって生成されたアニメーション画像とテキストからビデオへのモデルRunway Gen-2の組み合わせを使用しました。

以下のMachine MythosのチュートリアルはRunway Gen 2向けです。このビデオはまだRunwayの4秒間の制限の対象でしたが、その後18秒間に増加しました。したがって、より長いシーンで一貫性のある映画を作成することは、上記の例よりもはるかに簡単になるはずです。ここでは、Machine Mythosの「The Day Hell Froze Over」の基本的なワークフローが示されています。

  • 通常、編集の流れを支援するために音楽を選ぶことから始めます。また、前のカットの連続性を保つことを確認します。これは基本的な指針ですが、どんな作業にも取り組む前に最初のステップとなります。
  • 次に、MidjourneyやStable Diffusionで画像を生成し、ほぼ完璧になるまで改善を続けます。正確な初期画像を持つことは、多くの時間とコストを節約するのに役立ちます。埋め込みや拡大などの技法を使用してください。すべての画像は一貫した外観を持つために同じアンカーポイントを持つ必要があります。バリエーションは、同じ被写体の異なる角度を得る良い方法です。これは4秒間の制限のために必要です。
  • 通常、画像のプロンプト+テキストのプロンプトを使用します。画像のプロンプトだけでは十分な動きが得られず、制御できないことがあります。プレビューボタンを繰り返し押すことで、無料で確認できます。
    • 動きの兆候を見つけて、動きが少ない箇所では要素を生成しないようにします。静的な要素や不自然なものが見つかった場合は、新しい戦略に切り替えて無理にやる価値はありません。
    • 生成されたビデオからスクリーンショットを作成し、Photoshopで修正して再度挿入することで一貫性を保ちます。
  • 補間、スローモーション、フィルムの逆再生などを適用します。ほとんどの場合、回復できないシーンはありません。表示されたものに合わせてストーリーを調整できます。

Machine Mythosは、Runwayでの視覚的一貫性を向上させる別のヒントとして、非常に正確なプロンプトの説明を挙げています。おそらく、Runwayのモデルの限られたトレーニングデータセットにより、これによって自動的に類似した結果が得られると述べています。視覚的一貫性を向上させる他の方法には、画像のプロンプトや、後続のプロンプトで使用できる個々のキャラクターに対するユニークでカテゴリー分けされた名前などが含まれます。

解像度を向上させるために、このAIディレクターは通常「Topaz Labs」を使用しており、シーンによってはRunwayの直接の改善よりも優れた結果を提供できると述べています。全体的に、Machine MythosはAIを使用した映画制作の現行プロセスにおいて、忍耐と実験が重要であると強調しています。


Pika Labs（ピカラボ）：新しいテキストから映像を生成するプラットフォームが、SFショートフィルム「最後のアーティスト」のビデオシーケンスを生成します。

最新のAIショートフィルム「最後のアーティスト」において、AIディレクターは現在ベータ版のテキストからビデオを生成するプラットフォームであるPika Labs（ピカラボ）を使用しました。Midjourneyのように、Discordをユーザーインターフェースとして使用しています。

コマンド「/create」とテキストの説明で3秒のビデオが生成されます。アスペクト比や運動の強度などのパラメータを追加してプロンプトを調整することができます。以下のビデオは、Pika Labsを使用して生成されたいくつかのビデオの例を示しています。

Machine Mythによれば、エピックで視覚的に印象的なシーンを生成する方が、対話や基本的な相互作用のシンプルなシーンを生成するよりもずっと簡単です。そのため、当面は主に映画の中に実写シーンと生成されたシーンが組み合わさったハイブリッドな映画が見られると予想しています。今後の数ヶ月や数年にわたって、主にこのような映画が登場するでしょう。最終的には、AIによって生成されたコンテンツが優位に立つと考えています。「最高品質の人間のコンテンツのみが残るでしょうが、それが永続すると信じています。」

以下のSFショートフィルム「最後のアーティスト」の映像シーケンスは、完全にPika Labsで生成されました。