A Stability AI a ajouté un nouvel outil à sa plateforme d’IA ClipDrop : le Stable Doodle. Cet outil vous permet de transformer un simple gribouillis en images haute résolution générées par l’IA.
En plus du gribouillis, qui peut être facilement dessiné à l’aide de la souris, vous pouvez également fournir une description de ce que votre gribouillis doit représenter. En option, vous pouvez choisir l’un des 14 styles disponibles. Ces styles vont du photoréalisme et de la photographie analogique à l’origami, à l’anime et à l’art pixelisé.
SDXL rencontre l’adaptateur T2I de Tencent
Le Stable Doodle est basé sur le modèle le plus récent et puissant de Stability AI, le Stable Diffusion XL, mais dans une version non spécifiée. Il n’est donc pas clair s’il s’agit de la version 0.9 du SDXL, actuellement disponible uniquement via ClipDrop et DreamStudio.
Pour convertir des croquis à main levée en images détaillées, Stability combine le SDXL avec l’adaptateur T2I (texte vers image) en code ouvert de Tencent ARC.
Le T2I peut être ajouté à un modèle de diffusion existant, tel que le Stable Diffusion XL, fournissant des conditions d’entrée supplémentaires telles que des croquis, des cartes de segmentation ou même des poses. Il est similaire à ControlNet, qui est déjà largement utilisé dans Stable Diffusion.
Le T2I ou ControlNet présente l’avantage de ne pas affecter la capacité de génération originale du modèle pré-entraîné et peut être facilement appliqué à différents modèles, à condition qu’ils soient basés sur les mêmes fondamentaux (c’est-à-dire non seulement SDXL, mais aussi SD v1.5, etc.).
Essayez gratuitement via Clipdrop
Vous pouvez essayer Stable Doodle gratuitement sur le site web et les applications Android et iOS de Clipdrop. Cependant, le téléchargement d’images sans filigrane est réservé aux membres Pro.
En gros, l’outil est destiné aux amateurs et aux professionnels et, selon Stability, il a le potentiel d’améliorer significativement diverses industries, de l’éducation à la conception créative.
Transformer des gribouillis en images IA a une tradition
Stable Doodle rejoint un groupe croissant de méthodes pour influencer le résultat d’une image IA en utilisant des entrées supplémentaires au-delà des simples instructions textuelles. Récemment, par exemple, Adobe a démontré comment personnaliser davantage les images IA en plaçant des objets 3D.
L’idée d’incorporer des dessins simples dans le processus de génération d’images n’est pas nouvelle. En 2018, DeepMind a expérimenté une approche similaire, bien que les résultats ne soient pas comparables en termes de résolution et de niveau de détail offerts par le Stable Doodle.
