Uma equipe de pesquisadores apresenta a primeira solução de renderização de alta qualidade em tempo real para campos de radiação, com tempos de treinamento em minutos e renderização a mais de 100 FPS.
Pesquisadores do Inria, do Instituto Max Planck de Informática e da Université Côte d'Azur introduziram uma nova abordagem para renderização em tempo real de alta qualidade de campos de radiância adquiridos de cenas reais. O método alcança qualidade visual de ponta, exigindo apenas tempos de treinamento curtos, competitivos com métodos anteriores rápidos de campos de radiância, e renderização em tempo real muito acima do padrão ouro de 30 FPS.
A chave está em representar a cena com um conjunto de Gaussianas 3D, essencialmente uma forma flexível em 3D que também pode ser rasterizada de maneira muito eficiente ao ser projetada em 2D. O método começa com um conjunto básico de pontos obtidos a partir de uma técnica padrão de calibração de câmera chamada estrutura a partir do movimento (structure-from-motion – SfM). A partir desses pontos, o método cria as Gaussianas 3D. Cada Gaussiana tem uma posição central, uma matriz que especifica sua forma e direção, e seu nível de transparência (opacidade). Usando as imagens de entrada como referência e outras técnicas, o método ajusta as Gaussianas para aprimorar a renderização.
Renderização de alta qualidade com mais de 100 FPS
Para uma renderização rápida, os autores desenvolveram um rasterizador de GPU que projeta as Gaussianas 3D para 2D. Essa ferramenta organiza as Gaussianas em uma ordem específica e garante que elas se misturem corretamente. Ela também faz isso rapidamente, preservando os detalhes necessários de cada imagem.
O método alcança uma renderização em tempo real de vistas novas em 1080p a mais de 100 FPS, com qualidade que corresponde ou supera o melhor trabalho anterior, como o Mip-NeRF360, que precisa de até 48 horas de tempo de treinamento. A otimização das Gaussianas 3D leva apenas minutos, sendo competitiva com os métodos mais rápidos anteriores, como o InstantNGP.
“A primeira abordagem verdadeiramente em tempo real e de alta qualidade para renderização de campos de radiância”
De acordo com a equipe, as Gaussianas 3D fornecem uma representação compacta e flexível da cena que estabelece um novo padrão. “Apresentamos a primeira abordagem que realmente permite a renderização de campos de radiância em tempo real e de alta qualidade, em uma ampla variedade de cenários e estilos de captura, ao mesmo tempo que exige tempos de treinamento competitivos com os métodos mais rápidos anteriores”, escrevem.
Uma vez que mais de 80% do tempo de treinamento é gasto em código Python, a equipe suspeita que um trabalho adicional, como a migração da otimização restante para CUDA, poderia fornecer um aumento significativo de velocidade para aplicações em que o desempenho é crucial.
Mais informações, exemplos e código estão disponíveis no site do projeto.
