人が写真を撮る理由はさまざまだが、そのひとつに思い出を残すことがある。次世代の記念写真は、Zip-NeRFで高速品質アップグレードされたNeRFかもしれない。
グーグルの研究者は、グリッドベースの技術とMipmapベースのmip-NeRF 360の利点を組み合わせたNeRFモデルであるZip-NeRFのデモを行った。
Instant-NGPのようなグリッドベースのNeRF手法は、代替のNeRF手法に比べて3Dシーンを最大8倍高速に学習させるが、グリッド手法ではエイリアシングが発生しやすく、画像の細部が失われる可能性があるため、画質が低下する。
Mip-NeRF 360は、グリッドの代わりに奥行き情報を持つサブボリュームを処理します。これにより、エイリアシングを抑えながら、より詳細な画像を得ることができますが、3Dシーンのトレーニング時間は数時間に及ぶことがあります。
両方のNeRF技術の長所
Googleの研究者は、mip-NeRFの高画質とグリッドベースのモデルの高速トレーニング時間を組み合わせた手法を開発しました。その結果、エイリアシングの少ない高品質な3Dシーンが得られ、シーンによって異なりますが、画像エラーが8～76%減少し、トレーニング時間はmip-NeRF 360の22倍速くなりました。
研究チームはデモンストレーションで、庭を含む家全体をデジタル保存した、印象的で広大な3Dシーンを示している。VRヘッドセットを使って、実際の家と同じように、しかし写真のように静止した、オリジナルの寸法でシーンを移動することができる。これは実に強力な保存技術だ。
トレーニング中、Zip-NeRFは多数の個々の2D写真から3Dシーンを組み立てる。Mip-NeRFはこのシーンのトレーニングに約22時間かかるが、Zip-NeRFはより良い画質で約1時間かかる。mip-NeRF 360とInstant NGPの組み合わせでは、シーンのトレーニングは約3倍速くなりますが、画質が著しく低下し、アーティファクトが増えます。
Zip-NeRF、mip-NeRF 360、および比較バージョンの「mip-NeRF 360 iNGP」は、8つのNvidia Tesla V100-SXM2-16 GB GPUで学習されましたが、ベンチマークでより悪い結果を出した他の比較モデルは、1つのNvidia 3090で学習されました。しかし、少なくともこれは、NeRFが一般利用可能に近づいていることを示している。
Nvidia Instant-NGPのノーコード・ガイドで、独自のNeRFの作成方法とVRでの視覚化方法をご確認ください。また、オープンソースのNerfstudioを使えば、NeRFの制作を簡単に始めることができます。
