Une startup d’IA souhaite utiliser des modèles de base et la vision par ordinateur pour développer des bots qui traquent les bugs et affrontent des joueurs.

Basée à Copenhague, la startup bénéficie du soutien de plusieurs chercheurs en IA, dont le professeur Sebastian Risi de l’Université de technologie de Copenhague, dont les recherches portent sur l’apprentissage tout au long de la vie pour les agents d’IA.

L’équipe de Modl.ai met à profit son expertise pour développer des bots intelligents capables de tester les jeux vidéo en termes de bugs, de performances et d’autres facteurs pendant le processus de développement.

À mesure que les mondes des jeux vidéo deviennent de plus en plus vastes, comme le gigantesque Starfield de Bethesda, et que les mécaniques deviennent plus complexes, les méthodes de test traditionnelles qui dépendent uniquement du travail humain montrent leurs limites. Les bots peuvent aider en se déplaçant dans des mondes en 3D et en collectant des données essentielles.

L’utilisation de bots d’IA pour les tests et les jeux est courante depuis longtemps. Cependant, les bots entraînés de manière supervisée sont actuellement les plus largement utilisés. L’équipe de Modl.ai, quant à elle, s’appuie sur des bots entraînés de manière auto-supervisée. Il s’agit de la méthode d’apprentissage utilisée par ChatGPT, par exemple, ou les meilleurs modèles actuels de vision par ordinateur.

Modèles de base pour les tests et le gameplay

L’équipe place les bots intelligents dans des environnements de jeu sans ensembles de données clairement définis. Le bot apprend ensuite à partir des données disponibles pour évoluer rapidement et agir en tant qu’agent autonome. Ainsi, l’équipe vise à former ce qu’on appelle des modèles de base pour les agents d’IA.

Ces modèles fournissent une base avec de nombreuses capacités générales sur lesquelles les développeurs peuvent construire pour leurs applications spécifiques, de manière similaire à la façon dont GPT-4 fournit des capacités de base de traitement du langage pouvant être utilisées à des fins de traitement du langage naturel spécifiques.

Tout comme GPT-4, l’équipe espère que les modèles de base fourniront des capacités élémentaires de raisonnement et de planification. « Plus le jeu est complexe, plus les bots doivent faire preuve d’un raisonnement complexe pour le tester, et notre équipe relève ce défi de front », déclare Risi.

Les modèles de base peuvent apprendre des joueurs grâce à la vision par ordinateur

L’équipe voit un grand potentiel dans la combinaison de ces modèles de base avec la vision par ordinateur. « Les avancées récentes en vision par ordinateur analysent comment les gens jouent à un jeu et examinent les comportements communs. À terme, cette recherche permettra à un bot de regarder un jeu auquel il n’a jamais joué auparavant et de savoir comment y jouer. Notre recherche pousse encore plus loin cette technologie », explique Georgios Yannakakis, l’un des fondateurs.

En plus des bots de test, Modl.ai développe également des bots capables de jouer avec et contre des joueurs humains après la sortie d’un jeu. Modl.ai propose des plugins pour Unreal Engine et Unity, ainsi qu’une API. Si l’équipe concrétise sa vision, les joueurs pourront s’attendre à des jeux non seulement exempts de bugs et mieux optimisés, mais aussi à des bots allant au-delà de simples « sacs de frappe ».

Des projets tels que Voyager, MineCLIP et VPT, qui utilisent également des modèles de base pour alimenter des bots dans Minecraft, démontrent que cette approche a du potentiel.