Les modèles d’images d’IA peuvent générer de nouvelles images ou modifier des images existantes. DreamGenerator montre comment cela peut fonctionner dans un appareil photo.
Contrairement aux appareils photo conventionnels, DreamGenerator vous permet de choisir le monde dans lequel la prochaine photo sera prise : le paradis ou l’enfer, le Moyen-Âge, l’espace sous-marin ou l’espace extra-atmosphérique, les variations sont nombreuses. Trente thèmes sont préprogrammés.
![DreamGenerator é a camera que já processa a imagem com o stable diffusion](https://andrelug.com/wp-content/uploads/2023/07/camera-stablediffusion-1024x683.png)
Une fois la photo prise, elle est instantanément transformée en une nouvelle image à l’aide du thème présélectionné. Les caractéristiques fondamentales de la photo sont conservées, comme la posture et les traits du visage d’une personne, ou la perspective sous laquelle une voiture est photographiée dans un parking. Le seul changement est qu’après la prise de vue, la voiture représentée devient une nouvelle Ferrari au lieu d’une vieille Honda.
![O DreamGenerator transforma um velho Honda em uma nova Ferrari. O nome do dispositivo parece bem escolhido.](https://andrelug.com/wp-content/uploads/2023/07/image-94.png)
« Les images générées font référence à la composition et à la pose de la photo originale, en veillant à ce que les éléments clés soient conservés tout en ajoutant de nouvelles touches imaginatives », écrit le développeur Kyle Goodrich.
Introducing DreamGenerator! 📸✨
— Kyle Goodrich (@_kylegoodrich) July 18, 2023
A camera that transforms your photos into something new using the power of generative AI.
Choose from 30 prompts, capture, and watch as your image morphs into a one-of-a-kind masterpiece right before your eyes! 🧵 pic.twitter.com/NJMxQ09Rna
Bien entendu, cela n’a rien à voir avec une photographie authentique. Mais Kyle Goodrich explique qu’il cherche surtout à simplifier le processus d’incitation complexe de systèmes tels que Stable Diffusion. Cela pourrait se faire avec une application pour smartphone, bien sûr, mais M. Goodrich dit préférer la simplicité d’un appareil photo de type « point-and-shoot ».
ControlNet permet d’affiner le réglage de Stable Diffusion avec un minimum de données
Pour l’imagerie, Goodrich utilise une combinaison du logiciel libre Stable Diffusion et de ControlNet, une méthode simple de réglage fin qui améliore considérablement les capacités d’image à image de Stable Diffusion.
Ici, le réglage fin pour un sujet donné est effectué à partir de petits ensembles de données, tels qu’une seule photographie. Comme Stable Diffusion, ControlNet est disponible sous forme de logiciel libre et peut même fonctionner sur les smartphones.
Dans la vidéo ci-dessous, M. Goodrich, qui est concepteur de produits de réalité augmentée chez Snapchat, montre un prototype du matériel et du logiciel. Il ne mentionne pas de version commerciale, de sorte que ceux qui veulent la caméra IA devront probablement la construire eux-mêmes (ou la créer sous la forme d’une application pour leur smartphone).
This is currently a prototype that leverages Stable Diffusion and ControlNet.
— Kyle Goodrich (@_kylegoodrich) July 18, 2023
The generated images reference the composition and pose of the original photo, ensuring that key elements are retained while also adding in new imaginative touches. pic.twitter.com/DKdT6POXTc