No projeto “Vendo o Mundo através dos Seus Olhos”, pesquisadores da Universidade de Maryland, College Park, mostram que os reflexos do olho humano podem ser usados para reconstruir cenas em 3D. Isso, segundo eles, é uma “fonte subvalorizada de informações sobre como o mundo ao nosso redor se parece”.
O artigo utiliza um método baseado em NeRF para reconstruir uma cena em 3D a partir de um reflexo no olho. Isso parece simples, mas na verdade é um processo complicado que envolve vários fatores, incluindo determinar com precisão a direção do olhar e distinguir reflexos de padrões na íris, afirmam os pesquisadores.
Calculando o mundo exterior através da córnea
Para calcular o mundo exterior, a equipe utiliza a geometria da córnea, que é bastante uniforme em adultos saudáveis. Com base no tamanho da córnea em uma imagem, eles podem estimar a posição e orientação do olho.
Um aspecto importante é otimizar a detecção da posição da córnea, que é utilizada para refinar a estimativa de posição inicial para cada imagem. Essa técnica tem se mostrado fundamental para a robustez do método.
Para separar o reflexo do mundo exterior do padrão da íris, a equipe utilizou um framework de treinamento modificado do Nerfstudio. Eles fizeram com que o NeRF aprendesse tanto a cena 3D refletida quanto o padrão da íris, e treinaram o sistema simultaneamente para separar os dois elementos.
Para a detecção da íris, o sistema recebeu a forma geral simétrica radial como padrão e a suposição de que o reflexo muda de perspectivas diferentes, mas a textura da íris permanece a mesma.
NeRF 3D com apenas uma câmera
Enquanto as reconstruções típicas do NeRF exigem múltiplas vistas da câmera do objeto sendo reconstruído, os pesquisadores simplesmente moveram a pessoa pelo campo de visão da câmera. Os reflexos no olho, que mudam mesmo com movimentos mínimos, forneceram as diferentes perspectivas necessárias para reconstruir a cena em 3D, mesmo que apenas uma câmera tenha capturado a pessoa.
Para validar seu método, a equipe utilizou imagens sintéticas de olhos renderizadas com o Blender e fotografias reais de uma pessoa se movendo no campo de visão da câmera. Apesar dos desafios, como imprecisões na localização da córnea e na estimativa de sua geometria, e da baixa resolução inerente das imagens, seu método mostrou promessa, afirmam os pesquisadores. Em testes com modelos sintéticos de olhos, a equipe foi capaz de realizar reconstruções completas da cena usando apenas os reflexos nos olhos.
No entanto, os testes foram conduzidos apenas em laboratório; na realidade, muitos outros fatores estão em jogo, e as suposições feitas no artigo, como a textura da íris, podem ser muito simplistas. Texturas mais brilhantes na íris ou situações que envolvem uma forte rotação dos olhos podem apresentar desafios adicionais, escrevem os pesquisadores.
A equipe espera que o trabalho estimule mais pesquisas sobre como sinais visuais inesperados e aleatórios podem ser usados para revelar informações sobre o mundo ao redor.
