研究チームが放射線フィールドのための高品質リアルタイムレンダリングの初のソリューションを発表、トレーニング時間は数分で、レンダリング速度は100FPS以上。

Inria、マックスプランク情報学研究所、ユニヴェルシテ・コート・ダジュールの研究者たちは、実際のシーンから獲得した輝度場を高品質なリアルタイムレンダリングする新しいアプローチを導入しました。この方法は、競合する以前の高速輝度場メソッドと同等のトレーニング時間しか必要とせず、30FPSの標準的なゴールドスタンダードをはるかに上回るリアルタイムのレンダリング品質を達成しています。

鍵は、シーンを3Dのガウス分布のセットで表現することにあります。これは本質的に、3Dの柔軟な形状であり、2Dに投影されると非常に効率的にラスタライズされる形状です。この方法は、カメラのキャリブレーション技術である「structure-from-motion（SfM）」と呼ばれる標準的な手法から得られる基本的なポイントセットから始まります。これらのポイントから、方法は3Dガウス分布を作成します。各ガウス分布には、中心位置、形状と方向を指定する行列、および透明度レベルがあります。入力画像を参照して他の技術を使用して、方法はレンダリングを向上させるためにガウス分布を調整します。

高品質なレンダリングで100FPS以上

迅速なレンダリングのために、著者たちはGPUラスタライザを開発しました。このツールは、3Dのガウス分布を2Dに投影します。このツールは、ガウス分布を特定の順序で整理し、適切に混ぜ合わせることを確認します。また、各画像の必要な詳細を保持しながら、迅速に処理します。

この方法は、1080pの新しいビューのリアルタイムレンダリングを100 FPS以上で達成し、品質は以前の最高の作業、例えば48時間以上のトレーニング時間が必要なMip-NeRF360などを上回るか、それに匹敵するものです。3Dガウス分布の最適化は数分で行われ、以前のより速いメソッドであるInstantNGPと競合しています。

「真にリアルタイムで高品質なラジアンスフィールドのレンダリングに対する最初のアプローチ」

チームによると、3Dガウス分布は、シーンのコンパクトで柔軟な表現を提供し、新しい基準を確立しています。彼らは「広範なシーンとキャプチャスタイルで、競合する早いメソッドと競合するトレーニング時間を要求しながら、本当にリアルタイムかつ高品質なラジアンスフィールドのレンダリングを可能にする最初のアプローチを提案しました」と述べています。

トレーニングの80％以上がPythonコードで費やされているため、チームは残りの最適化をCUDAに移行するなどの追加作業が、パフォーマンスが重要なアプリケーションにおいて速度を大幅に向上させる可能性があると考えています。

詳細な情報、例、コードはプロジェクトのウェブサイトで入手できます。