NvidiaのNeuralangeloは、ニューラルネットワークを使用した2Dビデオクリップの3D再構成に新たな基準を設定します。
Neuralangeloは、Nvidiaがジョンズ・ホプキンス大学と共同で開発した新しいAIモデルで、ビデオクリップから3Dオブジェクトを再構成することを学習し、3Dオブジェクトとしてレンダリングすることができる。従来の手法と比較して、Neuralangeloは表面のディテールをより詳細に捉え、単純な物体、家の外観、建物全体とその周辺をレンダリングすることができる。
Nvidiaによると、Neuralangeloによって生成された3D構造は、デザイン・アプリケーションにインポートし、アート、ビデオゲーム、ロボット工学、産業用デジタル・ツインで使用するためにさらに処理することができる。
“Neuralangeloは他の方法よりも詳細を捉える”
“屋根瓦、ガラス、滑らかな大理石を含む複雑な素材のテクスチャを、2D動画から3Dアセットに変換するNeuralangeloの能力は、従来の方法を大幅に凌駕しています。3D再構成の忠実度が高いため、開発者やクリエイティブな専門家は、スマートフォンで撮影した動画を使用して、プロジェクトで使用可能な仮想オブジェクトを迅速に作成することが容易になります」と同社は述べている。
Nvidiaが公開した映像では、チームはNeuralangeloがミケランジェロの大理石像からフルーツバスケット、Nvidiaのサンフランシスコ・ベイ・キャンパス・パークまで、あらゆるものを再構築できることを実演している。
このAIモデルは、いくつかの最適化によってこれまでのアプローチの限界を克服し、NvidiaのInstant-NGPメソッドを使用して、より細かいディテールをキャプチャします。その結果、オブジェクトの解像度が大幅に向上し、滑らかな壁のエラーなど、他の手法で発生するアーティファクトが発生しなくなった。
NvidiaはNeuralangeloのさらなる最適化を目指す
NvidiaはNeuralangeloをさらに最適化するつもりだ。研究チームは、すべての実験をNvidia V100 GPUで行い、50万回の反復学習を行った。これにより、1シーンの学習に約16時間かかる。
我々の手法は現在、統計や誤差を追跡することなく、画像からランダムにピクセルをサンプリングしている。そのため、確率性を減らし、細部の十分なサンプリングを確保するために、長時間の学習反復を用いている。
記事より
将来的には、チームはより効率的なサンプリング戦略を開発し、Neuralangeloのトレーニングプロセスを高速化したいと考えている。NvidiaのInstantNeRFは、これが可能であることをすでに示している。
より詳しい情報は、Neuralangeloプロジェクトのページに掲載されている。
