Após texto e imagens, a IA está lentamente conquistando as imagens em movimento. Um diretor de IA ambicioso compartilha seus primeiros resultados e fluxo de trabalho no Reddit.

O canal do YouTube “Machine_Mythos” está experimentando com modelos de texto para vídeo e outras ferramentas de IA para criar curtas-metragens com IA. Para o curto vídeo “O Dia em que o Inferno Congelou”, o diretor de IA utilizou uma combinação de imagens animadas geradas por IA e o modelo de texto para vídeo Runway Gen-2.

O seguinte tutorial da Machine Mythos é para o Runway Gen 2. O vídeo ainda estava sujeito ao limite de 4 segundos para os vídeos do Runway, que desde então foi aumentado para 18 segundos. Portanto, criar filmes coerentes com cenas mais longas deve ser muito mais fácil do que no exemplo acima. Aqui está o fluxo de trabalho básico da Machine Mythos para “O Dia em que o Inferno Congelou”.

  • Geralmente, começo escolhendo a música, pois isso me ajuda com o fluxo das edições. Além disso, certifico-me de manter a continuidade do movimento entre os cortes anteriores. Bem, essas são apenas diretrizes básicas de direção, mas devem ser o primeiro passo antes de qualquer coisa.
  • Em seguida, gero a imagem no Midjourney ou Stable Diffusion e continuo a aprimorá-la até que esteja quase perfeita. Ter uma imagem inicial precisa economiza muito dinheiro e tempo. Use técnicas de preenchimento, expansão, entre outros. Todas as imagens devem ter os mesmos pontos de ancoragem para ter uma aparência consistente. Variações são uma maneira boa de obter diferentes ângulos do mesmo assunto. Isso é necessário devido ao limite de 4 segundos.
  • Eu costumo usar prompts de imagem + prompts de texto, porque apenas os prompts de imagem não fornecem movimento suficiente e não podem ser controlados. Continue pressionando o botão de visualização, é gratuito.
    • Procure por quaisquer sinais de movimento, não gere elementos onde o movimento seja menos provável de acontecer. Se você se deparar com elementos estáticos ou que pareçam terríveis, simplesmente mude para uma nova estratégia, não vale a pena insistir.
    • A partir do vídeo resultante, você pode criar capturas de tela e modificá-las no Photoshop para inseri-las novamente, garantindo consistência.
  • Aplique interpolação, câmera lenta, inverta as filmagens, etc. Muito raramente há uma cena impossível de ser recuperada. Você pode ajustar a história para se adequar ao que é mostrado.

Machine Mythos menciona uma descrição de prompt muito precisa como outra dica para consistência visual no Runway. Presumivelmente, devido ao conjunto de treinamento limitado do modelo do Runway, isso automaticamente leva a resultados semelhantes, segundo ele. Outros métodos para melhorar a consistência incluem prompts de imagem e nomes únicos e categorizados para personagens que podem ser usados em prompts subsequentes.

Para aprimorar a resolução, o diretor de IA prefere o “Topaz Labs”, que pode produzir resultados melhores do que a melhoria direta do Runway, dependendo da cena. No geral, Machine MythOS destaca que paciência e experimentação são fundamentais para o processo atual de criação de filmes com IA.

Pika Labs: Nova plataforma de texto para vídeo gera sequências de vídeo para o curta-metragem de ficção científica “O Último Artista”

Para o mais recente curta-metragem de IA, “O Último Artista”, o diretor de IA utilizou o Pika Labs, uma plataforma de texto para vídeo atualmente em versão beta. Assim como o Midjourney, ele utiliza o Discord como sua interface de usuário.

O comando “/create” e uma descrição textual geram um vídeo de três segundos. É possível adicionar parâmetros como proporção de aspecto ou intensidade de movimento para ajustar o prompt. O vídeo a seguir mostra alguns exemplos de vídeos criados com o Pika Labs.

Segundo Machine Myth, é muito mais fácil gerar cenas épicas e visualmente impressionantes do que cenas simples de diálogo ou interações básicas. Portanto, por enquanto, ele espera ver principalmente filmes híbridos com cenas filmadas e geradas nos próximos meses ou anos. Eventualmente, ele vê o conteúdo gerado por IA ganhando vantagem: “Apenas o conteúdo humano de mais alta qualidade permanecerá, mas acredito que permanecerá.”

As sequências de vídeo do seguinte curta-metragem de ficção científica, “O Último Artista”, foram completamente geradas com o Pika Labs.