En el proyecto «Viendo el mundo a través de tus ojos», investigadores de la Universidad de Maryland, College Park, demuestran que los reflejos del ojo humano pueden ser utilizados para reconstruir escenas en 3D. Según ellos, esto es una «fuente subestimada de información sobre cómo se ve el mundo a nuestro alrededor».
El artículo utiliza un método basado en NeRF para reconstruir una escena en 3D a partir de un reflejo en el ojo. Esto parece sencillo, pero en realidad es un proceso complicado que involucra varios factores, incluyendo determinar con precisión la dirección de la mirada y distinguir los reflejos de los patrones en el iris, afirman los investigadores.
En el proyecto «Viendo el mundo a través de tus ojos», los investigadores muestran que los reflejos del ojo humano pueden ser utilizados para reconstruir escenas en 3D. | Imagen: Alzayer, Zhang et al.
Calculando el mundo exterior a través de la córnea
Para calcular el mundo exterior, el equipo utiliza la geometría de la córnea, que es bastante uniforme en adultos sanos. Basándose en el tamaño de la córnea en una imagen, pueden estimar la posición y orientación del ojo.
Un aspecto importante es optimizar la detección de la posición de la córnea, que se utiliza para refinar la estimación de la posición inicial en cada imagen. Esta técnica ha demostrado ser fundamental para la robustez del método.
La estructura del método de reconstrucción. | Imagen: Alzayer, Zhang et al.
Para separar el reflejo del mundo exterior del patrón del iris, el equipo utilizó un marco de entrenamiento modificado de Nerfstudio. Hicieron que NeRF aprendiera tanto la escena 3D reflejada como el patrón del iris, y entrenaron el sistema simultáneamente para separar los dos elementos.
Para la detección del iris, el sistema recibió la forma general simétrica radial como patrón y la suposición de que el reflejo cambia en diferentes perspectivas, pero la textura del iris permanece igual.
Reconstruyendo una escena en 3D a partir del reflejo en el ojo de una foto de retrato. | Vídeo: Alzayer, Zhang et al.
La configuración fotográfica en condiciones de laboratorio. | Imagen: Alzayer, Zhang et al.
Reconstrucción de una escena en 3D a partir del reflejo en el ojo de una fotografía de retrato. | Video: Alzayer, Zhang et al.
NeRF 3D con solo una cámara
Mientras que las reconstrucciones típicas de NeRF requieren múltiples vistas de la cámara del objeto que se está reconstruyendo, los investigadores simplemente movieron a la persona dentro del campo de visión de la cámara. Los reflejos en el ojo, que cambian incluso con movimientos mínimos, proporcionaron las diferentes perspectivas necesarias para reconstruir la escena en 3D, incluso si solo una cámara capturó a la persona.
Para validar su método, el equipo utilizó imágenes sintéticas de ojos renderizadas con Blender y fotografías reales de una persona moviéndose dentro del campo de visión de la cámara. A pesar de los desafíos, como imprecisiones en la localización de la córnea y la estimación de su geometría, y la baja resolución inherente de las imágenes, su método mostró promesa, afirman los investigadores. En pruebas con modelos sintéticos de ojos, el equipo pudo realizar reconstrucciones completas de la escena utilizando solo los reflejos en los ojos.
Sin embargo, las pruebas se realizaron únicamente en un entorno de laboratorio; en la realidad, hay muchos otros factores en juego y las suposiciones hechas en el artículo, como la textura del iris, pueden ser demasiado simplistas. Texturas más brillantes en el iris o situaciones que implican una fuerte rotación de los ojos pueden presentar desafíos adicionales, escriben los investigadores.
El equipo espera que este trabajo estimule más investigaciones sobre cómo se pueden utilizar señales visuales inesperadas y aleatorias para revelar información sobre el mundo que nos rodea.
