Os modelos de imagens de IA podem gerar novas imagens ou modificar as existentes. O DreamGenerator mostra como isso pode funcionar em uma câmera.
Ao contrário das câmeras convencionais, o DreamGenerator permite que você escolha o mundo no qual a próxima foto será tirada: céu ou inferno, Idade Média, debaixo d’água ou espaço sideral, existem muitas variações. Trinta temas estão pré-programados.
Uma vez que uma foto é capturada, ela é instantaneamente transformada em uma nova imagem usando o tema pré-selecionado. As características fundamentais da foto são preservadas, como a postura e as características faciais de uma pessoa, ou a perspectiva da qual um carro é fotografado em um estacionamento. A única alteração é que, após a captura da foto, o carro representado se torna um novo Ferrari, em vez de um velho Honda.
O DreamGenerator transforma um velho Honda em uma nova Ferrari. O nome do dispositivo parece bem escolhido. | Imagem: Kyle Goodrich
“As imagens geradas fazem referência à composição e à pose da foto original, garantindo que elementos-chave sejam mantidos, ao mesmo tempo em que adicionam novos toques imaginativos”, escreve o desenvolvedor Kyle Goodrich.
Introducing DreamGenerator! 📸✨
A camera that transforms your photos into something new using the power of generative AI.
Choose from 30 prompts, capture, and watch as your image morphs into a one-of-a-kind masterpiece right before your eyes! 🧵 pic.twitter.com/NJMxQ09Rna
— Kyle Goodrich (@_kylegoodrich) July 18, 2023
Claro, isso não tem nada a ver com fotografia autêntica. Mas Goodrich diz que está principalmente interessado em simplificar o processo complexo de prompts de sistemas como o Stable Diffusion. Isso poderia ser feito com um aplicativo de smartphone, é claro, mas Goodrich afirma que prefere a simplicidade de uma câmera aponte e dispare.
O ControlNet permite o ajuste fino do Stable Diffusion com um mínimo de dados
Para a geração de imagens, Goodrich usa uma combinação do Stable Diffusion de código aberto e o ControlNet, um método simples de ajuste fino que aprimora significativamente as capacidades de imagem para imagem do Stable Diffusion.
Aqui, o ajuste fino para um determinado assunto é feito com conjuntos de dados pequenos, como uma única fotografia. Assim como o Stable Diffusion, o ControlNet está disponível como software livre de código aberto e até mesmo pode ser executado em smartphones.
No vídeo abaixo, Goodrich, que é designer de produtos de realidade aumentada no Snapchat, mostra um protótipo do hardware e do software. Ele não menciona uma versão de varejo, então aqueles que desejam a câmera de IA provavelmente terão que construí-la por si próprios (ou criá-la como um aplicativo para seu smartphone).
This is currently a prototype that leverages Stable Diffusion and ControlNet.
The generated images reference the composition and pose of the original photo, ensuring that key elements are retained while also adding in new imaginative touches. pic.twitter.com/DKdT6POXTc
— Kyle Goodrich (@_kylegoodrich) July 18, 2023