Un equipo de investigadores presenta la primera solución de renderización de alta calidad en tiempo real para campos de radiación, con tiempos de entrenamiento en minutos y una renderización de más de 100 FPS.

Investigadores de Inria, el Instituto Max Planck de Informática y la Université Côte d'Azur han introducido un nuevo enfoque para la renderización en tiempo real de alta calidad de campos de radiación adquiridos de escenas reales. El método logra una calidad visual de vanguardia, requiriendo solo tiempos de entrenamiento cortos, competitivos con métodos anteriores de campos de radiación rápidos, y una renderización en tiempo real muy por encima del estándar de 30 FPS.

La clave radica en representar la escena con un conjunto de Gaussianas 3D, que es esencialmente una forma flexible en 3D que también puede ser rasterizada de manera muy eficiente al proyectarse en 2D. El método comienza con un conjunto básico de puntos obtenidos a partir de una técnica estándar de calibración de cámara llamada estructura a partir del movimiento (structure-from-motion – SfM). A partir de estos puntos, el método crea las Gaussianas 3D. Cada Gaussiana tiene una posición central, una matriz que especifica su forma y dirección, y su nivel de transparencia (opacidad). Utilizando las imágenes de entrada como referencia y otras técnicas, el método ajusta las Gaussianas para mejorar la renderización.

Renderización de alta calidad a más de 100 FPS

Para lograr una renderización rápida, los autores desarrollaron un rasterizador de GPU que proyecta las Gaussianas 3D en 2D. Esta herramienta organiza las Gaussianas en un orden específico y se asegura de que se mezclen adecuadamente. Además, realiza esta tarea rápidamente, conservando los detalles necesarios de cada imagen.

El método logra una renderización en tiempo real de nuevas vistas en 1080p a más de 100 FPS, con calidad que iguala o supera el mejor trabajo anterior, como el Mip-NeRF360, que requiere hasta 48 horas de tiempo de entrenamiento. La optimización de las Gaussianas 3D toma solo minutos, siendo competitiva con los métodos más rápidos anteriores, como el InstantNGP.

«La primera aproximación verdaderamente en tiempo real y de alta calidad para la renderización de campos de radiancia»

Según el equipo, las Gaussianas 3D proporcionan una representación compacta y flexible de la escena que establece un nuevo estándar. «Presentamos la primera aproximación que realmente permite la renderización de campos de radiancia en tiempo real y de alta calidad, en una amplia variedad de escenarios y estilos de captura, al mismo tiempo que requiere tiempos de entrenamiento competitivos con los métodos más rápidos anteriores», escriben.

Dado que más del 80% del tiempo de entrenamiento se invierte en código Python, el equipo sospecha que un trabajo adicional, como la migración de la optimización restante a CUDA, podría proporcionar un aumento significativo de velocidad para aplicaciones en las que el rendimiento es crucial.

Más información, ejemplos y código están disponibles en el sitio web del proyecto.