メリーランド大学カレッジパーク校の研究者たちは、『Seeing the World Through Your Eyes（あなたの目を通して世界を見る）』の中で、人間の目からの反射を利用して3Dシーンを再構築できることを示している。これは、「私たちを取り巻く世界がどのように見えるかについて、過小評価されている情報源」であると彼らは主張している。
この論文では、眼球の反射から3Dシーンを再構築するために、NeRFベースの方法を使用している。これは簡単なように聞こえるが、実際には視線の方向を正確に判断したり、虹彩のパターンから反射を区別したりするなど、いくつかの要素を含む複雑なプロセスであると研究者たちは述べている。
角膜を通して外界を計算する
外界を計算するために、研究チームは、健康な成人でかなり均一な角膜の形状を利用する。画像中の角膜の大きさに基づいて、眼球の位置と向きを推定することができる。
重要な点は、角膜位置の検出を最適化することであり、これは各画像の初期位置推定を改良するために使用される。この技術は、この手法のロバスト性の基本であることが示されている。
虹彩パターンから外界の反射を分離するために、研究チームは修正Nerfstudio学習フレームワークを利用した。反射した3Dシーンと虹彩パターンの両方をNeRFに学習させ、2つの要素を分離するためにシステムを同時に訓練した。
虹彩検出については、一般的な放射状の対称形状をデフォルトとし、異なる視点から見ると反射は変化するが、虹彩のテクスチャは変わらないという仮定をシステムに与えた。
1台のカメラによる3D NeRF
一般的なNeRF再構成では、再構成する対象物を複数のカメラで撮影する必要があるが、研究者たちは、カメラの視野の中で人物を動かすだけである。わずかな動きでも変化する眼球の反射が、1台のカメラで人物を捉えただけにもかかわらず、シーンの3D再構成に必要な異なる視点を提供した。
この方法を検証するため、研究チームはBlenderでレンダリングした合成眼球画像と、カメラの視野内で動く人物の実際の写真を使用した。角膜の位置の特定や形状の推定が不正確であること、画像の解像度がもともと低いことなどの課題はあったが、この方法は有望であると研究者たちは述べている。合成眼球モデルを用いたテストでは、研究チームは眼球の反射だけを用いて完全なシーンの再構成を実現することができた。
しかし、このテストはあくまで実験室で行われたものであり、現実には他の多くの要因が作用しており、虹彩のテクスチャなど、論文でなされた仮定は単純すぎるかもしれない。虹彩のテクスチャーが明るかったり、眼球の回転が強かったりすると、さらなる課題が生じる可能性がある、と研究者たちは書いている。
研究チームは、この研究が、予期しないランダムな視覚的手がかりが、どのように周囲の世界に関する情報を明らかにするために利用できるかについてのさらなる研究に拍車をかけることを期待している。
