Dans Matrix Awakens, le joueur dit aux PNJ de l’IA qu’ils vivent dans une simulation et qu’ils ne sont pas heureux

Les modèles linguistiques avancés permettent des dialogues plus réalistes dans les jeux vidéo. La société Replica, qui propose un plugin vocal d’IA pour les moteurs 3D, a trouvé une application appropriée.

Dans les jeux vidéo, les personnages génériques non jouables (PNJ) prononcent souvent peu de phrases, voire aucune, avec des expressions génériques. Cela s’explique par le fait que quelqu’un doit les écrire et les enregistrer. Cela demande beaucoup de travail pour une fonction qui n’est pas centrale dans la plupart des jeux, mais peut être assez coûteux selon l’échelle du jeu.

Les PNJ intelligents pourraient être la pierre angulaire de l’avenir des jeux vidéo

Les grands modèles linguistiques combinés à des voix artificielles de haute qualité éliminent ces deux goulets d’étranglement : en utilisant des indices spécifiques du monde du jeu ou en les adaptant au scénario du jeu vidéo, le LLM génère des phrases significatives qui peuvent être synchronisées avec les lèvres des PNJ, avec un langage corporel correspondant, à l’aide de la voix d’IA.

Cela permet de créer des dialogues réalistes et flexibles entre le joueur et les PNJ, ce qui renforce l’immersion dans le monde du jeu. C’est exactement ce que Replica promet avec son « AI Voice Plugin » pour Unity et Unreal, qui est compatible avec différents LLM.

Il est évident que le système actuel de peuplement des jeux vidéo avec des personnages et de création d’une immersion par la narration n’est pas facilement extensible. Nous pensons que l’IA peut résoudre bon nombre de ces problèmes et permettre même à de petites équipes de voir grand et de concevoir leurs jeux comme des aventures épiques.

Réplique

Vous pouvez télécharger et essayer la démo de Matrix ici. Comme les phrases des voix de l’IA dans la démo sont générées à l’aide d’un modèle de langage en nuage, il peut y avoir une certaine latence dans le dialogue. C’est l’un des problèmes qu’il reste à résoudre pour généraliser les PNJ intelligents. De nombreux autres dialogues de démonstrations d’IA sont présentés dans la vidéo ci-dessous.

L’étape suivante consisterait à faire en sorte que ces dialogues affectent dynamiquement le gameplay dans des univers de jeu flexibles : par exemple, si vous insultez un PNJ dans GTA 6, vous recevrez une réponse appropriée en fonction de la gravité de l’insulte – ou une amende.