Une équipe de chercheurs présente la première solution de rendu de haute qualité en temps réel pour les champs de radiance, avec des temps d’apprentissage de quelques minutes et un rendu à plus de 100 FPS.
Des chercheurs de l’Inria, de l’Institut Max Planck d’informatique et de l’Université Côte d’Azur ont introduit une nouvelle approche pour le rendu en temps réel de haute qualité des champs de radiance acquis à partir de scènes réelles. La méthode atteint une qualité visuelle de pointe, nécessitant seulement des temps d’apprentissage courts, compétitifs avec les méthodes précédentes rapides de champs de radiance, et un rendu en temps réel bien au-dessus de la norme de référence de 30 FPS.
La clé réside dans la représentation de la scène à l’aide d’un ensemble de Gaussiennes 3D, essentiellement une forme flexible en 3D qui peut également être rasterisée de manière très efficace lorsqu’elle est projetée en 2D. La méthode commence par un ensemble de points de base obtenus à partir d’une technique de calibration de caméra standard appelée « structure from motion » (structure à partir du mouvement – SfM). À partir de ces points, la méthode crée les Gaussiennes 3D. Chaque Gaussienne a une position centrale, une matrice qui spécifie sa forme et sa direction, ainsi que son niveau de transparence (opacité). En utilisant les images d’entrée comme référence et d’autres techniques, la méthode ajuste les Gaussiennes pour améliorer le rendu.
Rendu de haute qualité à plus de 100 FPS
Pour un rendu rapide, les auteurs ont développé un rasteriseur GPU qui projette les Gaussiennes 3D en 2D. Cet outil organise les Gaussiennes dans un ordre spécifique et s’assure qu’elles se mélangent correctement. Il le fait également rapidement, en préservant les détails nécessaires de chaque image.
La méthode parvient à un rendu en temps réel de nouvelles vues en 1080p à plus de 100 FPS, avec une qualité qui correspond ou dépasse les meilleurs travaux précédents, tels que le Mip-NeRF360, qui nécessite jusqu’à 48 heures de temps d’apprentissage. L’optimisation des Gaussiennes 3D ne prend que quelques minutes, ce qui est compétitif avec les méthodes plus rapides précédentes, comme l’InstantNGP.
« La première approche véritablement en temps réel et de haute qualité pour le rendu des champs de radiance »
Selon l’équipe, les Gaussiennes 3D fournissent une représentation compacte et flexible de la scène qui établit une nouvelle norme. « Nous présentons la première approche qui permet vraiment le rendu des champs de radiance en temps réel et de haute qualité, dans une grande variété de scénarios et de styles de capture, tout en demandant des temps d’apprentissage compétitifs avec les méthodes les plus rapides précédentes », écrivent-ils.
Étant donné que plus de 80 % du temps d’apprentissage est consacré au code Python, l’équipe suppose qu’un travail supplémentaire, comme la migration de l’optimisation restante vers CUDA, pourrait apporter une augmentation significative de la vitesse pour les applications où les performances sont cruciales.
Plus d’informations, d’exemples et de code sont disponibles sur le site du projet.
