Pesquisadores revelam o Objaverse-XL, um conjunto de dados com mais de 10 milhões de objetos 3D, para avançar no desenvolvimento de IA em visão computacional 3D e IA generativa.
Os avanços em IA foram impulsionados pelo aumento do acesso a grandes quantidades de dados de treinamento. Isso é verdade para sistemas de IA generativa de texto e imagens, que foram treinados em conjuntos de dados massivos coletados da web.
Uma das próximas fronteiras da IA, visão computacional 3D e IA generativa para 3D, tem ficado para trás devido aos desafios de adquirir dados 3D de alta qualidade.
O Objaverse-XL contém 10 milhões de objetos 3D
Para abordar esse problema, uma equipe de pesquisadores revelou o Objaverse-XL, uma coleção massiva de mais de 10 milhões de objetos 3D.
Coletado de várias fontes online, incluindo Sketchfab, Thingiverse e Polycam, o Objaverse-XL é uma expansão dez vezes maior do conjunto de dados Objaverse lançado em abril.
Na época, o Sketchfab afirmou que os dados foram coletados em massa sem o conhecimento deles ou dos artistas. Em fevereiro, o Sketchfab introduziu uma tag chamada “NoAI” para evitar isso – tarde demais, como se constatou.
Zero123 é um modelo de IA generativa para 3D
Utilizando o Objaverse-XL, os pesquisadores treinaram com sucesso um modelo para síntese de visualização nova. O modelo resultante, Zero123-XL, demonstrou fortes capacidades de generalização em diferentes modalidades complexas, incluindo ativos fotorealistas, desenhos animados, ilustrações e esboços.
Introducing Objaverse-XL, an open dataset of over 10 million 3D objects!
— Matt Deitke (@mattdeitke) July 11, 2023
With it, we train Zero123-XL, a foundation model for 3D, observing incredible 3D generalization abilities: 🧵👇
📝 Paper: https://t.co/2oNakoka7v pic.twitter.com/GJnNbOegab
De acordo com os pesquisadores, os experimentos têm mostrado tendências promissoras de escalabilidade para tarefas de visão 3D usando o Objaverse-XL, à medida que os dados aumentam de algumas milhares para 10 milhões de ativos. Por esse motivo, eles acreditam que um conjunto de dados ainda maior, contendo bilhões de objetos, poderia aprimorar ainda mais as capacidades potenciais desses modelos de IA.
O Objaverse-XL e o Zero123 são resultados de uma cooperação entre o Allen AI Institute, a Universidade de Columbia, a UWCSE, a Stability AI, a LAION e o Caltech.
Os pesquisadores acreditam que o Objaverse-XL facilitará os avanços em IA para 3D ao melhorar significativamente o desempenho dos modelos de ponta e permitir aplicações em áreas como realidade aumentada e virtual.
