El Neuralangelo de Nvidia establece un nuevo estándar para la reconstrucción en 3D de videoclips en 2D utilizando redes neuronales.
El Neuralangelo es un nuevo modelo de IA desarrollado por Nvidia en colaboración con la Universidad Johns Hopkins, que aprende a reconstruir objetos en 3D a partir de videos y puede representarlos como objetos tridimensionales. En comparación con métodos anteriores, el Neuralangelo captura muchos más detalles de la superficie y puede representar objetos simples, fachadas de casas o edificios completos con su entorno.
Según Nvidia, las estructuras en 3D generadas por el Neuralangelo pueden importarse a aplicaciones de diseño y posteriormente procesarse para su uso en arte, videojuegos, robótica o gemelos digitales industriales.
«Neuralangelo captura más detalles que otros métodos»
«La capacidad de Neuralangelo para traducir las texturas de materiales complejos, como tejas de techo, vidrio y mármol liso, de videos en 2D a activos en 3D supera significativamente los métodos anteriores. La alta fidelidad de las reconstrucciones en 3D facilita a los desarrolladores y profesionales creativos crear rápidamente objetos virtuales utilizables para sus proyectos utilizando videos capturados por smartphones», afirmó la empresa.
«Neuralangelo captura más detalles y comete menos errores que los métodos antiguos.» | Imagen: Nvidia
«En las imágenes compartidas por Nvidia, el equipo demuestra cómo Neuralangelo puede reconstruir desde la estatua de mármol de Miguel Ángel hasta una cesta de frutas y el parque del Campus de Nvidia en la Bahía de San Francisco.»
El modelo de IA supera las limitaciones de enfoques anteriores con algunas optimizaciones y utiliza el método Instant-NGP de Nvidia para capturar detalles más finos. Como resultado, los objetos tienen una resolución mucho más alta y no aparecen artefactos que ocurren con otros métodos, como errores en superficies lisas.
Nvidia busca optimizar aún más el Neuralangelo
Nvidia tiene la intención de optimizar aún más el Neuralangelo. El equipo llevó a cabo todos los experimentos en una GPU Nvidia V100 y entrenó durante 500.000 iteraciones. Con esto, lleva aproximadamente 16 horas entrenar una escena.
Nuestro método actualmente muestrea píxeles de imágenes aleatoriamente sin rastrear sus estadísticas y errores. Por lo tanto, utilizamos largas iteraciones de entrenamiento para reducir las fluctuaciones y garantizar un muestreo suficiente de los detalles.
Del artículo.
En el futuro, el equipo espera desarrollar estrategias de muestreo más eficientes para acelerar el proceso de entrenamiento del Neuralangelo. El InstantNeRF de Nvidia ya ha demostrado que esto es posible.
Más información está disponible en la página del proyecto Neuralangelo.
