A startup de GenAI lançou o MirageLSD, um modelo de vídeo com inteligência artificial que transforma feeds ao vivo instantaneamente. O sistema foi desenvolvido para resolver dois grandes problemas das ferramentas anteriores: renderização lenta e perda rápida de qualidade da imagem ao longo do tempo.
Modelos de vídeo com IA costumam ser lentos e geralmente só conseguem gerar clipes curtos, de cinco a dez segundos, antes que os visuais comecem a se degradar. O MirageLSD adota uma abordagem diferente. Em vez de gerar sequências inteiras de vídeo de uma vez, o modelo cria cada quadro individualmente.
O sistema utiliza uma janela de quadros recentes, o input atual do vídeo e o comando do usuário para prever o próximo quadro conforme a transmissão se desenrola. Cada novo quadro é imediatamente reinserido na etapa de cálculo seguinte, permitindo que o modelo reaja instantaneamente às mudanças do feed ao vivo. Essa configuração possibilita a transformação contínua de vídeo em tempo real a 20 quadros por segundo, com resolução de 768 x 432, mantendo uma latência baixa o suficiente para aplicações interativas.
Para manter a qualidade do vídeo estável durante sessões mais longas, a Decart utiliza duas técnicas de treinamento. A primeira, denominada “diffusion forcing”, adiciona ruído a cada quadro individualmente, ensinando o modelo a limpar as imagens sem depender dos quadros anteriores — ajudando a prevenir o acúmulo de erros ao longo do tempo.
A segunda técnica, chamada “history augmentation”, expõe o modelo a quadros distorcidos ou com defeito durante o treinamento, fazendo com que aprenda a identificar e corrigir erros recorrentes, em vez de simplesmente replicá-los.
A Decart otimizou o MirageLSD especificamente para GPUs Nvidia Hopper, utilizando a técnica de “architecture-aware pruning” para eliminar partes menos importantes do modelo e aumentar a velocidade e a eficiência. A equipe também aplica o método de “shortcut distillation”, treinando modelos menores para replicar os resultados dos maiores — um processo que resulta em um aumento de performance de 16 vezes. Como consequência, cada quadro é processado em menos de 40 milissegundos, garantindo uma latência tão baixa que a maioria dos espectadores não perceberá atrasos significativos.
O MirageLSD apresenta uma latência muito menor que outros modelos de vídeo com IA, permitindo uma transformação de vídeo em tempo real mais fluida.
O MirageLSD possui, contudo, algumas limitações. Atualmente, ele processa apenas uma pequena janela de quadros anteriores, o que pode reduzir a consistência em vídeos mais longos. Além disso, o modelo ainda apresenta dificuldades com mudanças significativas de estilo e com o controle preciso de objetos individuais.
Plataforma Mirage é Lançada, com Mais Recursos a Caminho
A Decart lançou a plataforma Mirage junto com o MirageLSD, disponibilizando uma versão web – acesse aqui – e em breve aplicativos móveis para iOS e Android. A plataforma é direcionada para transmissões ao vivo, videochamadas e jogos, com planos de atualizações regulares ao longo do verão para incluir aprimoramentos como maior consistência facial, controle por voz e gerenciamento mais preciso de objetos.
Este é o segundo modelo de inteligência artificial da Decart, depois do viral projeto de Minecraft, Oasis. O desenvolvimento do MirageLSD levou cerca de seis meses. Outros sistemas, como o StreamDiT, conseguem velocidades semelhantes – chegando a 16 quadros por segundo – e também oferecem capacidades interativas, mas ainda ficam atrás dos melhores modelos atuais, como o Google Veo 3, no que diz respeito à qualidade da imagem.
