Les chercheurs révèlent l’Objaverse-XL, un ensemble de données contenant plus de 10 millions d’objets 3D, pour faire avancer le développement de l’IA en vision par ordinateur 3D et de l’IA générative.

Les progrès de l’IA ont été stimulés par l’accès croissant à de grandes quantités de données d’entraînement. Cela est vrai pour les systèmes d’IA générative de texte et d’images, qui ont été formés sur de vastes ensembles de données collectées sur le Web.

L’une des prochaines frontières de l’IA, la vision par ordinateur 3D et l’IA générative pour la 3D, a été à la traîne en raison des défis liés à l’acquisition de données 3D de haute qualité.

L’Objaverse-XL contient 10 millions d’objets 3D

Pour résoudre ce problème, une équipe de chercheurs a révélé l’Objaverse-XL, une collection massive de plus de 10 millions d’objets 3D.

Collectés à partir de différentes sources en ligne, dont Sketchfab, Thingiverse et Polycam, l’Objaverse-XL est dix fois plus grand que l’ensemble de données Objaverse précédemment publié en avril.

À l’époque, Sketchfab avait déclaré que les données avaient été collectées en masse sans leur connaissance ni celle des artistes. En février, Sketchfab a introduit une balise appelée « NoAI » pour éviter cela – trop tard, comme il s’est avéré.

Zero123 est un modèle d’IA générative pour la 3D

En utilisant l’Objaverse-XL, les chercheurs ont réussi à entraîner un modèle pour la synthèse de nouvelles visualisations. Le modèle résultant, Zero123-XL, a démontré de fortes capacités de généralisation dans différentes modalités complexes, y compris les actifs photoréalistes, les dessins animés, les illustrations et les croquis.

Selon les chercheurs, les expériences ont montré des tendances prometteuses en termes d’évolutivité pour les tâches de vision 3D utilisant l’Objaverse-XL, à mesure que les données passent de quelques milliers à 10 millions d’actifs. Pour cette raison, ils estiment qu’un ensemble de données encore plus important, contenant des milliards d’objets, pourrait encore améliorer les capacités potentielles de ces modèles d’IA.

L’Objaverse-XL et le Zero123 sont le résultat d’une collaboration entre l’Allen AI Institute, l’Université de Columbia, l’UWCSE, Stability AI, LAION et Caltech.

Les chercheurs estiment que l’Objaverse-XL facilitera les avancées de l’IA pour la 3D en améliorant considérablement les performances des modèles de pointe et en permettant des applications dans des domaines tels que la réalité augmentée et virtuelle.