O Neuralangelo da Nvidia estabelece um novo padrão para a reconstrução 3D de videoclipes 2D usando redes neurais.
O Neuralangelo é um novo modelo de IA desenvolvido pela Nvidia em parceria com a Universidade Johns Hopkins, que aprende a reconstruir objetos em 3D a partir de vídeos e pode renderizá-los como objetos tridimensionais. Comparado a métodos anteriores, o Neuralangelo captura muito mais detalhes de superfície e pode renderizar objetos simples, fachadas de casas ou prédios inteiros com seus arredores.
De acordo com a Nvidia, as estruturas 3D geradas pelo Neuralangelo podem ser importadas para aplicativos de design e posteriormente processadas para uso em arte, videogames, robótica ou gêmeos digitais industriais.
“Neuralangelo captura mais detalhes do que outros métodos”
“A capacidade do Neuralangelo de traduzir as texturas de materiais complexos, incluindo telhas de telhado, vidros e mármore liso, de vídeos 2D para ativos 3D supera significativamente os métodos anteriores. A alta fidelidade das reconstruções 3D facilita para desenvolvedores e profissionais criativos criar rapidamente objetos virtuais utilizáveis para seus projetos usando vídeos capturados por smartphones”, afirmou a empresa.
Nas imagens divulgadas pela Nvidia, a equipe demonstra como o Neuralangelo pode reconstruir desde a estátua de mármore de Michelangelo até uma cesta de frutas e o parque do Campus da Nvidia na Baía de San Francisco.
O modelo de IA supera as limitações das abordagens anteriores com algumas otimizações e utiliza o método Instant-NGP da Nvidia para capturar detalhes mais finos. Como resultado, os objetos possuem uma resolução muito mais alta e artefatos que ocorrem com outros métodos, como erros em paredes lisas, não aparecem.
A Nvidia deseja otimizar ainda mais o Neuralangelo
A Nvidia pretende otimizar ainda mais o Neuralangelo. A equipe executou todos os experimentos em uma GPU Nvidia V100 e treinou por 500.000 iterações. Com isso, leva cerca de 16 horas para treinar uma cena.
Nosso método atualmente amostra pixels de imagens aleatoriamente sem rastrear suas estatísticas e erros. Portanto, usamos iterações de treinamento longas para reduzir as estocásticas e garantir amostragem suficiente dos detalhes.
Do Artigo
No futuro, a equipe espera desenvolver estratégias de amostragem mais eficientes para acelerar o processo de treinamento do Neuralangelo. O InstantNeRF da Nvidia já mostrou que isso é possível.
Mais informações estão disponíveis na página do projeto Neuralangelo.
