No projeto “Vendo o Mundo através dos Seus Olhos”, pesquisadores da Universidade de Maryland, College Park, mostram que os reflexos do olho humano podem ser usados para reconstruir cenas em 3D. Isso, segundo eles, é uma “fonte subvalorizada de informações sobre como o mundo ao nosso redor se parece”.

O artigo utiliza um método baseado em NeRF para reconstruir uma cena em 3D a partir de um reflexo no olho. Isso parece simples, mas na verdade é um processo complicado que envolve vários fatores, incluindo determinar com precisão a direção do olhar e distinguir reflexos de padrões na íris, afirmam os pesquisadores.

No projeto "Vendo o Mundo através dos Seus Olhos", os pesquisadores mostram que os reflexos do olho humano podem ser usados para reconstruir cenas em 3D. | Imagem: Alzayer, Zhang et al.
No projeto “Vendo o Mundo através dos Seus Olhos”, os pesquisadores mostram que os reflexos do olho humano podem ser usados para reconstruir cenas em 3D. | Imagem: Alzayer, Zhang et al.

Calculando o mundo exterior através da córnea

Para calcular o mundo exterior, a equipe utiliza a geometria da córnea, que é bastante uniforme em adultos saudáveis. Com base no tamanho da córnea em uma imagem, eles podem estimar a posição e orientação do olho.

Um aspecto importante é otimizar a detecção da posição da córnea, que é utilizada para refinar a estimativa de posição inicial para cada imagem. Essa técnica tem se mostrado fundamental para a robustez do método.

A estrutura do método de reconstrução.
A estrutura do método de reconstrução. | Imagem: Alzayer, Zhang et al.

Para separar o reflexo do mundo exterior do padrão da íris, a equipe utilizou um framework de treinamento modificado do Nerfstudio. Eles fizeram com que o NeRF aprendesse tanto a cena 3D refletida quanto o padrão da íris, e treinaram o sistema simultaneamente para separar os dois elementos.

Para a detecção da íris, o sistema recebeu a forma geral simétrica radial como padrão e a suposição de que o reflexo muda de perspectivas diferentes, mas a textura da íris permanece a mesma.

Reconstruindo uma cena em 3D a partir do reflexo no olho de uma foto de retrato. | Vídeo: Alzayer, Zhang et al.
A configuração fotográfica em condições de laboratório.
A configuração fotográfica em condições de laboratório. | Imagem: Alzayer, Zhang et
Reconstrução de uma cena em 3D a partir do reflexo no olho de uma fotografia de retrato. | Vídeo: Alzayer, Zhang et al.

NeRF 3D com apenas uma câmera

Enquanto as reconstruções típicas do NeRF exigem múltiplas vistas da câmera do objeto sendo reconstruído, os pesquisadores simplesmente moveram a pessoa pelo campo de visão da câmera. Os reflexos no olho, que mudam mesmo com movimentos mínimos, forneceram as diferentes perspectivas necessárias para reconstruir a cena em 3D, mesmo que apenas uma câmera tenha capturado a pessoa.

Para validar seu método, a equipe utilizou imagens sintéticas de olhos renderizadas com o Blender e fotografias reais de uma pessoa se movendo no campo de visão da câmera. Apesar dos desafios, como imprecisões na localização da córnea e na estimativa de sua geometria, e da baixa resolução inerente das imagens, seu método mostrou promessa, afirmam os pesquisadores. Em testes com modelos sintéticos de olhos, a equipe foi capaz de realizar reconstruções completas da cena usando apenas os reflexos nos olhos.

Reconstrução altamente detalhada de uma cena em 3D usando um modelo de olho sintético em condições ideais. | Vídeo: Alzayer, Zhang et al.

No entanto, os testes foram conduzidos apenas em laboratório; na realidade, muitos outros fatores estão em jogo, e as suposições feitas no artigo, como a textura da íris, podem ser muito simplistas. Texturas mais brilhantes na íris ou situações que envolvem uma forte rotação dos olhos podem apresentar desafios adicionais, escrevem os pesquisadores.

A equipe espera que o trabalho estimule mais pesquisas sobre como sinais visuais inesperados e aleatórios podem ser usados para revelar informações sobre o mundo ao redor.