Después del texto e imágenes, la IA está empezando a conquistar lentamente las imágenes en movimiento. Un director ambicioso de IA ha compartido sus primeros resultados y flujo de trabajo en Reddit.

El canal de YouTube «Machine_Mythos» está experimentando con modelos de texto para videos y otras herramientas de IA para crear cortometrajes con IA. Para el corto titulado «El Día en que el Infierno se Congeló», el director de IA utilizó una combinación de imágenes en movimiento generadas por IA y el modelo de texto para video Runway Gen-2.

El siguiente tutorial de Machine Mythos es para Runway Gen 2. El video aún estaba limitado a 4 segundos para los videos de Runway, pero desde entonces se ha aumentado a 18 segundos. Por lo tanto, crear películas coherentes con escenas más largas debería ser mucho más fácil que en el ejemplo anterior. Aquí está el flujo de trabajo básico de Machine Mythos para «El Día en que el Infierno se Congeló».

  • Por lo general, comienzo eligiendo la música, ya que esto me ayuda con el flujo de las ediciones. Además, me aseguro de mantener la continuidad del movimiento entre los cortes anteriores. Bueno, estas son solo pautas básicas de dirección, pero deben ser el primer paso antes de cualquier cosa.
  • Luego, genero la imagen en Midjourney o Stable Diffusion y continúo mejorándola hasta que esté casi perfecta. Tener una imagen inicial precisa ahorra mucho dinero y tiempo. Utilizo técnicas de relleno, expansión, entre otras. Todas las imágenes deben tener los mismos puntos de anclaje para tener una apariencia consistente. Las variaciones son una buena forma de obtener diferentes ángulos del mismo tema. Esto es necesario debido al límite de 4 segundos.
  • Suelo usar indicaciones de imagen + indicaciones de texto, porque solo las indicaciones de imagen no proporcionan suficiente movimiento y no pueden ser controladas. Continúa presionando el botón de vista previa, es gratuito.
    • Busca cualquier señal de movimiento, no generes elementos donde el movimiento sea menos probable que ocurra. Si te encuentras con elementos estáticos o que parezcan desagradables, simplemente cambia a una nueva estrategia, no vale la pena insistir.
    • A partir del video resultante, puedes crear capturas de pantalla y modificarlas en Photoshop para insertarlas nuevamente, asegurando consistencia.
  • Aplica interpolación, cámara lenta, invierte las filmaciones, etc. Muy raramente hay una escena imposible de recuperar. Puedes ajustar la historia para que se adapte a lo que se muestra.

Machine Mythos menciona una descripción de prompt muy precisa como otro consejo para la consistencia visual en Runway. Presumiblemente, debido al conjunto de entrenamiento limitado del modelo de Runway, esto automáticamente lleva a resultados similares, según él. Otros métodos para mejorar la consistencia incluyen prompts de imagen y nombres únicos y categorizados para personajes que se pueden usar en prompts posteriores.

Para mejorar la resolución, el director de IA prefiere «Topaz Labs», que puede producir mejores resultados que la mejora directa de Runway, dependiendo de la escena. En general, Machine Mythos destaca que la paciencia y la experimentación son fundamentales para el proceso actual de creación de películas con IA.

Pika Labs: Nueva plataforma de texto para video genera secuencias de video para el cortometraje de ciencia ficción «El Último Artista»

Para el más reciente cortometraje de IA, «El Último Artista», el director de IA utilizó Pika Labs, una plataforma de texto para video actualmente en versión beta. Al igual que Midjourney, utiliza Discord como su interfaz de usuario.

El comando «/create» y una descripción textual generan un video de tres segundos. Es posible agregar parámetros como proporción de aspecto o intensidad de movimiento para ajustar el prompt. El siguiente video muestra algunos ejemplos de videos creados con Pika Labs.

Según Machine Myth, es mucho más fácil generar escenas épicas e impactantes visualmente que escenas simples de diálogo o interacciones básicas. Por lo tanto, por ahora, espera ver principalmente películas híbridas con escenas filmadas y generadas en los próximos meses o años. Eventualmente, ve que el contenido generado por IA tomará la delantera: «Solo el contenido humano de la más alta calidad prevalecerá, pero creo que prevalecerá».

Las secuencias de video del siguiente cortometraje de ciencia ficción, «El Último Artista», fueron generadas completamente con Pika Labs.