As pessoas tiram fotos por muitas razões, uma das quais é capturar memórias. A próxima geração de fotos de lembrança pode ser NeRFs, que recebem uma atualização de qualidade em alta velocidade com o Zip-NeRF.
Pesquisadores do Google demonstram o Zip-NeRF, um modelo NeRF que combina as vantagens de técnicas baseadas em grade e o mip-NeRF 360 baseado em Mipmap.
Os métodos NeRF baseados em grade, como o Instant-NGP, treinam cenas 3D até oito vezes mais rápido do que os métodos NeRF alternativos, mas têm menor qualidade de imagem porque o método de grade leva a mais aliasing e os detalhes na imagem podem ser perdidos.
O Mip-NeRF 360 processa subvolumes com informações de profundidade em vez de uma grade. Isso permite mais detalhes da imagem com menos aliasing, mas o tempo de treinamento para uma cena 3D pode ser de várias horas.
A melhor das duas técnicas NeRF
Pesquisadores do Google desenvolveram um método que combina a alta qualidade de imagem do mip-NeRF com o rápido tempo de treinamento de modelos baseados em grade. O resultado são cenas 3D de alta qualidade com menos aliasing, 8 a 76% menos erros de imagem, dependendo da cena, e um tempo de treinamento 22 vezes mais rápido que o mip-NeRF 360.
Em demonstrações, a equipe de pesquisa mostra cenas impressionantes e expansivas em 3D que preservam digitalmente uma casa inteira, incluindo seu jardim. Usando um fone de ouvido VR, a cena pode ser percorrida em suas dimensões originais, semelhante à casa real, mas estática como uma fotografia. Esta é uma tecnologia de preservação verdadeiramente poderosa.
Durante o treinamento, o Zip-NeRF monta a cena 3D de muitas fotos 2D individuais. O Mip-NeRF treina essa cena em cerca de 22 horas, enquanto o Zip-NeRF leva cerca de uma hora com melhor qualidade de imagem. Uma combinação alternativa de mip-NeRF 360 e Instant NGP treina a cena cerca de três vezes mais rápido, mas tem qualidade de imagem significativamente menor e mais artefatos.
O Zip-NeRF, o mip-NeRF 360 e a versão de comparação “mip-NeRF 360 + iNGP” foram treinados em oito GPUs Nvidia Tesla V100-SXM2-16 GB, enquanto outros modelos de comparação que tiveram pior desempenho nos benchmarks foram treinados em uma única Nvidia 3090. Mas pelo menos isso mostra que os NeRFs estão se aproximando da disponibilidade geral.
Confira nosso guia sem código para o Nvidia Instant-NGP para aprender como criar seu próprio NeRF e como visualizá-lo em VR. O Nerfstudio de código aberto também facilita o início da produção do NeRF.
