Les modèles d’images d’IA peuvent générer de nouvelles images ou modifier des images existantes. DreamGenerator montre comment cela peut fonctionner dans un appareil photo.
Contrairement aux appareils photo conventionnels, DreamGenerator vous permet de choisir le monde dans lequel la prochaine photo sera prise : le paradis ou l’enfer, le Moyen-Âge, l’espace sous-marin ou l’espace extra-atmosphérique, les variations sont nombreuses. Trente thèmes sont préprogrammés.
Une fois la photo prise, elle est instantanément transformée en une nouvelle image à l’aide du thème présélectionné. Les caractéristiques fondamentales de la photo sont conservées, comme la posture et les traits du visage d’une personne, ou la perspective sous laquelle une voiture est photographiée dans un parking. Le seul changement est qu’après la prise de vue, la voiture représentée devient une nouvelle Ferrari au lieu d’une vieille Honda.
« Les images générées font référence à la composition et à la pose de la photo originale, en veillant à ce que les éléments clés soient conservés tout en ajoutant de nouvelles touches imaginatives », écrit le développeur Kyle Goodrich.
Bien entendu, cela n’a rien à voir avec une photographie authentique. Mais Kyle Goodrich explique qu’il cherche surtout à simplifier le processus d’incitation complexe de systèmes tels que Stable Diffusion. Cela pourrait se faire avec une application pour smartphone, bien sûr, mais M. Goodrich dit préférer la simplicité d’un appareil photo de type « point-and-shoot ».
ControlNet permet d’affiner le réglage de Stable Diffusion avec un minimum de données
Pour l’imagerie, Goodrich utilise une combinaison du logiciel libre Stable Diffusion et de ControlNet, une méthode simple de réglage fin qui améliore considérablement les capacités d’image à image de Stable Diffusion.
Ici, le réglage fin pour un sujet donné est effectué à partir de petits ensembles de données, tels qu’une seule photographie. Comme Stable Diffusion, ControlNet est disponible sous forme de logiciel libre et peut même fonctionner sur les smartphones.
Dans la vidéo ci-dessous, M. Goodrich, qui est concepteur de produits de réalité augmentée chez Snapchat, montre un prototype du matériel et du logiciel. Il ne mentionne pas de version commerciale, de sorte que ceux qui veulent la caméra IA devront probablement la construire eux-mêmes (ou la créer sous la forme d’une application pour leur smartphone).
