La gente hace fotos por muchas razones, una de las cuales es capturar recuerdos. La próxima generación de fotos de recuerdo podrían ser los NeRF, que reciben una mejora de calidad a alta velocidad con Zip-NeRF.
Los investigadores de Google muestran Zip-NeRF, un modelo de NeRF que combina las ventajas de las técnicas basadas en cuadrículas y el mip-NeRF 360 basado en Mipmap.
Los métodos NeRF basados en cuadrículas, como Instant-NGP, entrenan escenas 3D hasta ocho veces más rápido que los métodos NeRF alternativos, pero tienen una calidad de imagen inferior porque el método de cuadrículas produce más aliasing y pueden perderse detalles en la imagen.
Mip-NeRF 360 procesa subvolúmenes con información de profundidad en lugar de una cuadrícula. Esto permite obtener más detalles de la imagen con menos aliasing, pero el tiempo de entrenamiento para una escena 3D puede ser de varias horas.
Lo mejor de ambas técnicas NeRF
Los investigadores de Google han desarrollado un método que combina la alta calidad de imagen de mip-NeRF con el rápido tiempo de entrenamiento de los modelos basados en cuadrículas. El resultado son escenas 3D de alta calidad con menos aliasing, entre un 8 y un 76 por ciento menos de errores de imagen, dependiendo de la escena, y un tiempo de entrenamiento 22 veces más rápido que el de mip-NeRF 360.
En las demostraciones, el equipo de investigación muestra impresionantes y amplias escenas en 3D que conservan digitalmente una casa entera, incluido su jardín. Utilizando un casco de RV, se puede recorrer la escena en sus dimensiones originales, similar a la casa real, pero estática como una fotografía. Se trata de una tecnología de conservación realmente potente.
Durante el entrenamiento, Zip-NeRF ensambla la escena en 3D a partir de muchas fotos individuales en 2D. Mip-NeRF entrena esta escena en unas 22 horas, mientras que Zip-NeRF tarda alrededor de una hora con una mejor calidad de imagen. Una combinación alternativa de mip-NeRF 360 e Instant NGP entrena la escena unas tres veces más rápido, pero tiene una calidad de imagen significativamente inferior y más artefactos.
Zip-NeRF, mip-NeRF 360 y la versión de comparación «mip-NeRF 360 iNGP» se entrenaron en ocho GPU Nvidia Tesla V100-SXM2-16 GB, mientras que otros modelos de comparación que obtuvieron peores resultados en las pruebas se entrenaron en una sola Nvidia 3090. Pero al menos esto demuestra que los NeRF están cada vez más cerca de la disponibilidad general.
Consulta nuestra guía sin código sobre Nvidia Instant-NGP para aprender a crear tu propio NeRF y a visualizarlo en RV. Nerfstudio, de código abierto, también facilita los primeros pasos en la producción de NeRF.
