Investigadores revelan Objaverse-XL, un conjunto de datos con más de 10 millones de objetos 3D, para avanzar en el desarrollo de IA en visión computacional 3D e IA generativa.
Los avances en IA han sido impulsados por el acceso cada vez mayor a grandes cantidades de datos de entrenamiento. Esto es cierto para los sistemas de IA generativa de texto e imágenes, que se han entrenado en conjuntos de datos masivos recopilados de la web.
Una de las próximas fronteras de la IA, la visión computacional 3D y la IA generativa para 3D, se ha quedado rezagada debido a los desafíos de adquirir datos 3D de alta calidad.
Objaverse-XL contiene 10 millones de objetos 3D
Para abordar este problema, un equipo de investigadores reveló Objaverse-XL, una colección masiva de más de 10 millones de objetos 3D.
Recopilados de varias fuentes en línea, incluyendo Sketchfab, Thingiverse y Polycam, Objaverse-XL es una expansión diez veces mayor del conjunto de datos Objaverse lanzado en abril.
En ese momento, Sketchfab afirmó que los datos se recopilaron masivamente sin su conocimiento ni el de los artistas. En febrero, Sketchfab introdujo una etiqueta llamada «NoAI» para evitar esto, pero fue demasiado tarde, como resultó.
Zero123 es un modelo de IA generativa para 3D
Utilizando Objaverse-XL, los investigadores han entrenado con éxito un modelo para la síntesis de visualización nueva. El modelo resultante, Zero123-XL, ha demostrado fuertes capacidades de generalización en diferentes modalidades complejas, incluyendo activos fotorrealistas, dibujos animados, ilustraciones y bocetos.
Introducing Objaverse-XL, an open dataset of over 10 million 3D objects!
— Matt Deitke (@mattdeitke) July 11, 2023
With it, we train Zero123-XL, a foundation model for 3D, observing incredible 3D generalization abilities: 🧵👇
📝 Paper: https://t.co/2oNakoka7v pic.twitter.com/GJnNbOegab
Según los investigadores, los experimentos han mostrado tendencias prometedoras en términos de escalabilidad para tareas de visión 3D utilizando Objaverse-XL, a medida que los datos aumentan desde unos pocos miles hasta los 10 millones de activos. Por esta razón, creen que un conjunto de datos aún más grande, que contenga miles de millones de objetos, podría mejorar aún más las capacidades potenciales de estos modelos de IA.
Objaverse-XL y Zero123 son resultados de una colaboración entre el Allen AI Institute, la Universidad de Columbia, UWCSE, Stability AI, LAION y Caltech.
Los investigadores creen que Objaverse-XL facilitará los avances en IA para 3D al mejorar significativamente el rendimiento de los modelos de vanguardia y permitir aplicaciones en áreas como la realidad aumentada y virtual.
