Vampire: The Masquerade – Bloodlines é um clássico cult – um filtro Stable Diffusion agora mostra como seria uma remasterização de IA.
Em 2021, pesquisadores da Intel mostraram como a inteligência artificial poderia aplicar um tipo de filtro de fotorrealismo aos videogames no futuro. Em seu exemplo, a equipe deu ao Grand Theft Auto 5 um novo visual: vegetação, asfalto ou carros com superfícies reflexivas foram calculados por uma rede nos gráficos de pixels.
A equipe treinou uma rede com pares de imagens de capturas de tela do GTA 5 e imagens de rua do mundo real que continham conteúdo semelhante, como uma bicicleta ou um carro. O sistema de IA da Intel aprendeu a transferir o estilo das imagens. Objetos e cenas que eram menos comuns no conjunto de dados de treinamento foram renderizados de forma menos convincente pelo método.
No entanto, o exemplo mostrou o potencial dos filtros de IA para conteúdo 3D, e a Nvidia e a Tesla também apresentaram métodos semelhantes para treinar algoritmos para direção autônoma, por exemplo.
Isto é o que um remaster de AI de “Vampire: The Masquerade – Bloodlines” poderia parecer
Muita coisa aconteceu desde então: os modelos de difusão substituíram arquiteturas de síntese de imagem mais antigas e podem renderizar quase qualquer objeto ou cena de maneira fotorrealista ou estilizada. Empresas como a Runway já estão usando esses modelos para mudar o estilo de vídeos usando métodos de imagem para imagem, e há muitos projetos na comunidade de código aberto fazendo coisas semelhantes com vídeo e conteúdo 3D.
Um deles é o TemporalKit, uma solução para “adicionar estabilidade temporal a uma renderização de Stable Diffusion ”. Em uma postagem recente no Reddit, uma pessoa usa o TemporalKit para mostrar como seria uma remasterização de IA do clássico de 2004 Vampire: The Masquerade – Bloodlines. (Sim, isso foi há quase 20 anos, desculpe).
Personagens antigos de videogames se tornam pessoas quase fotorrealistas, cenas de rua ou interiores de cozinha parecem quase reais. Como é sabido por outros exemplos, Stable Diffusion ainda luta um pouco com a estabilidade do tempo.
Arquiteturas mais eficientes e abordagens híbridas podem permitir filtros de IA
O “remaster” de Bloodlines é apenas um vídeo, mas mostra como os estúdios ou comunidades modificadoras poderiam refazer visualmente clássicos antigos no futuro. Com os recursos generativos de modelos como o Stable Diffusion, os usuários podem até determinar seu próprio estilo de remasterização.
Um obstáculo é o desempenho, porque mesmo com as placas gráficas mais rápidas disponíveis hoje, a Stable Diffusion ainda não pode gerar 60 quadros por segundo. Em vez disso, arquiteturas mais eficientes, como modelos de consistência OpenAI ou uma abordagem híbrida que se baseia no trabalho da Intel em 2021 e resolve o problema da falta de dados de treinamento com um modelo de IA geradora, podem ser usadas no futuro.
