StyleDrop apprend le style de n’importe quelle image et aide un modèle d’IA génératif à le recréer. La méthode de Google est plus performante que d’autres méthodes telles que Dreambooth, LoRA ou Textual Inversion.
La nouvelle méthode de Google permet de synthétiser des images dans un style spécifique en utilisant le modèle texte-image Muse. StyleDrop capture les subtilités d’un style personnalisé, y compris les schémas de couleurs, l’ombrage, les modèles de conception et les effets locaux et globaux. Selon Google, il suffit d’une seule image en guise d’entrée.
StyleDrop apprend le nouveau style en ajustant un petit nombre de paramètres de réseau entraînables et améliore la qualité du modèle par un entraînement itératif avec un retour d’information humain ou automatique.
StyleDrop apprend rapidement et avec peu d’exemples
Plus précisément, StyleDrop est entraîné sur l’image d’entrée et génère un ensemble d’images pour reproduire cette image. Parmi ces images, les plus qualitatives sont sélectionnées, soit par le biais d’un score CLIP, soit par le biais d’un retour d’information humain, et sont utilisées pour la suite de l’apprentissage. Une image est considérée comme de haute qualité si elle ne reproduit pas le contenu mais plutôt le style de l’image originale.
Selon l’équipe, l’ensemble du processus prend moins de trois minutes, même avec un retour d’information humain. En effet, StyleDrop a besoin de moins d’une douzaine d’images pour l’entraînement itératif.
Selon l’équipe, StyleDrop est plus performant que d’autres méthodes de transfert de style à partir de modèles texte-image, notamment Dreambooth, LoRAs et Textual Inversion in Image and Stable Diffusion (Inversion textuelle dans l’image et diffusion stable).
StyleDrop pour le style, Dreambooth pour les objets
« Nous avons observé que StyleDrop est capable de capturer les nuances de texture, d’ombrage et de structure dans un large éventail de styles, bien mieux que les approches précédentes, ce qui permet un contrôle du style bien plus important que ce qui était possible auparavant », a déclaré l’équipe.
L’équipe associe également StyleDrop à Dreambooth pour apprendre et créer un nouvel objet dans différents styles en tant qu’image, et peut utiliser les méthodes avec Muse pour créer un objet personnalisé dans un style personnalisé.
Google considère StyleDrop comme un outil polyvalent, dont l’un des cas d’utilisation est de permettre aux concepteurs ou aux entreprises de s’entraîner avec les actifs de leur marque et de prototyper rapidement de nouvelles idées dans leur style. De plus amples informations sont disponibles sur la page du projet StyleDrop.
