Après les textes et les images, l’IA conquiert lentement les images en mouvement. Un réalisateur ambitieux d’IA partage ses premiers résultats et son flux de travail sur Reddit.

La chaîne YouTube « Machine_Mythos » expérimente avec des modèles de texte pour la vidéo et d’autres outils d’IA pour créer des courts-métrages avec l’IA. Pour la courte vidéo « Le Jour où l’Enfer a Gelé », le réalisateur d’IA a utilisé une combinaison d’images animées générées par l’IA et le modèle de texte pour la vidéo Runway Gen-2.

Le tutoriel suivant de Machine Mythos concerne le Runway Gen 2. La vidéo était toujours soumise à la limite de 4 secondes pour les vidéos de Runway, qui a depuis été augmentée à 18 secondes. Par conséquent, créer des films cohérents avec des scènes plus longues devrait être bien plus facile que dans l’exemple ci-dessus. Voici le flux de travail de base de Machine Mythos pour « Le Jour où l’Enfer a Gelé ».

  • Généralement, je commence par choisir la musique, car cela m’aide avec le flux d’édition. De plus, je veille à maintenir la continuité du mouvement entre les coupes précédentes. Eh bien, ce ne sont que des lignes directrices de réalisation de base, mais elles devraient être la première étape avant tout.
  • Ensuite, je génère l’image avec Midjourney ou Stable Diffusion et je continue à l’améliorer jusqu’à ce qu’elle soit presque parfaite. Avoir une image initiale précise économise beaucoup d’argent et de temps. Utilisez des techniques de remplissage, d’expansion, entre autres. Toutes les images doivent avoir les mêmes points d’ancrage pour avoir une apparence cohérente. Les variations sont un bon moyen d’obtenir différents angles du même sujet. C’est nécessaire en raison de la limite de 4 secondes.
  • J’utilise généralement des indications d’image + des indications de texte, car seules les indications d’image ne fournissent pas suffisamment de mouvement et ne peuvent pas être contrôlées. Continuez d’appuyer sur le bouton de prévisualisation, c’est gratuit.
    • Recherchez tout signe de mouvement, ne générez pas d’éléments où le mouvement est moins susceptible de se produire. Si vous rencontrez des éléments statiques ou qui semblent terribles, passez simplement à une nouvelle stratégie, cela ne vaut pas la peine d’insister.
    • À partir de la vidéo résultante, vous pouvez créer des captures d’écran et les modifier dans Photoshop pour les réinsérer, en veillant à la cohéren
  • Appliquez l’interpolation, le ralenti, inversez les séquences, etc. Très rarement, il y a une scène impossible à récupérer. Vous pouvez ajuster l’histoire pour qu’elle corresponde à ce qui est montré.

Machine Mythos mentionne une description de prompt très précise comme un autre conseil pour la cohérence visuelle sur Runway. Apparemment, en raison de l’ensemble d’entraînement limité du modèle de Runway, cela conduit automatiquement à des résultats similaires, selon lui. D’autres méthodes pour améliorer la cohérence comprennent les prompts d’image et des noms uniques et catégorisés pour les personnages qui peuvent être utilisés dans les prompts ultérieurs.

Pour améliorer la résolution, le réalisateur de l’IA préfère « Topaz Labs », qui peut produire des résultats meilleurs que l’amélioration directe de Runway, selon la scène. Dans l’ensemble, Machine Mythos souligne que la patience et l’expérimentation sont essentielles pour le processus actuel de création de films avec l’IA.

Pika Labs : Nouvelle plateforme de texte pour la vidéo génère des séquences vidéo pour le court-métrage de science-fiction « The Last Artist »

Pour le dernier court-métrage IA, « The Last Artist », le réalisateur d’IA a utilisé Pika Labs, une plateforme de texte pour la vidéo actuellement en version bêta. Tout comme Midjourney, il utilise Discord comme interface utilisateur.

La commande « /create » et une description textuelle génèrent une vidéo de trois secondes. Il est possible d’ajouter des paramètres tels que le rapport d’aspect ou l’intensité du mouvement pour ajuster le prompt. La vidéo suivante montre quelques exemples de vidéos créées avec Pika Labs.

Selon Machine Myth, il est beaucoup plus facile de générer des scènes épiques et visuellement impressionnantes que des scènes simples de dialogue ou d’interactions de base. Par conséquent, pour l’instant, il s’attend principalement à voir des films hybrides avec des scènes filmées et générées dans les mois ou les années à venir. À terme, il voit le contenu généré par l’IA prendre de l’importance : « Seul le contenu humain de la plus haute qualité restera, mais je crois qu’il restera. »

Les séquences vidéo du court-métrage de science-fiction suivant, « The Last Artist », ont été entièrement générées avec Pika Labs.