Os modelos de imagens de IA podem gerar novas imagens ou modificar as existentes. O DreamGenerator mostra como isso pode funcionar em uma câmera.
Ao contrário das câmeras convencionais, o DreamGenerator permite que você escolha o mundo no qual a próxima foto será tirada: céu ou inferno, Idade Média, debaixo d'água ou espaço sideral, existem muitas variações. Trinta temas estão pré-programados.
Uma vez que uma foto é capturada, ela é instantaneamente transformada em uma nova imagem usando o tema pré-selecionado. As características fundamentais da foto são preservadas, como a postura e as características faciais de uma pessoa, ou a perspectiva da qual um carro é fotografado em um estacionamento. A única alteração é que, após a captura da foto, o carro representado se torna um novo Ferrari, em vez de um velho Honda.
“As imagens geradas fazem referência à composição e à pose da foto original, garantindo que elementos-chave sejam mantidos, ao mesmo tempo em que adicionam novos toques imaginativos”, escreve o desenvolvedor Kyle Goodrich.
Claro, isso não tem nada a ver com fotografia autêntica. Mas Goodrich diz que está principalmente interessado em simplificar o processo complexo de prompts de sistemas como o Stable Diffusion. Isso poderia ser feito com um aplicativo de smartphone, é claro, mas Goodrich afirma que prefere a simplicidade de uma câmera aponte e dispare.
O ControlNet permite o ajuste fino do Stable Diffusion com um mínimo de dados
Para a geração de imagens, Goodrich usa uma combinação do Stable Diffusion de código aberto e o ControlNet, um método simples de ajuste fino que aprimora significativamente as capacidades de imagem para imagem do Stable Diffusion.
Aqui, o ajuste fino para um determinado assunto é feito com conjuntos de dados pequenos, como uma única fotografia. Assim como o Stable Diffusion, o ControlNet está disponível como software livre de código aberto e até mesmo pode ser executado em smartphones.
No vídeo abaixo, Goodrich, que é designer de produtos de realidade aumentada no Snapchat, mostra um protótipo do hardware e do software. Ele não menciona uma versão de varejo, então aqueles que desejam a câmera de IA provavelmente terão que construí-la por si próprios (ou criá-la como um aplicativo para seu smartphone).
