Vampire : The Masquerade – Bloodlines est un classique culte. Un filtre de diffusion stable montre maintenant à quoi pourrait ressembler une remasterisation par l’intelligence artificielle.
En 2021, des chercheurs d’Intel ont montré comment l’intelligence artificielle pourrait à l’avenir appliquer une sorte de filtre photoréaliste aux jeux vidéo. Dans leur exemple, l’équipe a donné un nouvel aspect à Grand Theft Auto 5 : la végétation, l’asphalte ou les voitures avec des surfaces réfléchissantes ont été calculés par un réseau sur des graphiques en pixels.
L’équipe a entraîné un réseau avec des paires de captures d’écran de GTA 5 et des images de rues du monde réel contenant des éléments similaires, tels qu’un vélo ou une voiture. Le système d’IA d’Intel a appris à transférer le style des images. Les objets et les scènes qui étaient moins courants dans l’ensemble des données d’entraînement ont été rendus de manière moins convaincante par la méthode.
Nvidia et Tesla ont également présenté des méthodes similaires pour entraîner des algorithmes de conduite autonome, par exemple.
Voici à quoi pourrait ressembler une remasterisation de « Vampire : The Masquerade – Bloodlines » par l’IA
Beaucoup de choses ont changé depuis : les modèles de diffusion ont remplacé les anciennes architectures de synthèse d’image et peuvent rendre presque n’importe quel objet ou scène de manière photoréaliste ou stylisée. Des entreprises comme Runway utilisent déjà ces modèles pour styliser des vidéos à l’aide de méthodes image à image, et il existe de nombreux projets dans la communauté open source qui font des choses similaires avec des contenus vidéo et 3D.
L’un d’entre eux est TemporalKit, une solution pour « ajouter de la stabilité temporelle à un rendu de diffusion stable « . Dans un post récent sur Reddit, une personne utilise TemporalKit pour montrer à quoi ressemblerait un remaster AI du classique de 2004 Vampire : The Masquerade – Bloodlines (oui, c’était il y a presque 20 ans, désolé).
Les anciens personnages de jeux vidéo deviennent des personnes presque photoréalistes, les scènes de rue ou les intérieurs de cuisine ont l’air presque réels. Comme le montrent d’autres exemples, la diffusion stable a encore quelques difficultés avec la stabilité du temps.
Des architectures plus efficaces et des approches hybrides pourraient permettre de créer des filtres d’IA
Le « remaster » de Bloodlines n’est qu’une vidéo, mais elle montre comment les studios ou les communautés de modding pourraient à l’avenir refaire visuellement de vieux classiques. Grâce aux caractéristiques génératives de modèles tels que la diffusion stable, les utilisateurs peuvent même déterminer leur propre style de remasterisation.
L’un des obstacles est la performance, car même avec les cartes graphiques les plus rapides disponibles aujourd’hui, Stable Diffusion ne peut pas générer 60 images par seconde. Des architectures plus efficaces, telles que les modèles de cohérence OpenAI ou une approche hybride qui s’appuie sur les travaux d’Intel en 2021 et résout le problème du manque de données d’entraînement avec un modèle d’IA génératif, pourraient être utilisées à l’avenir.
