StyleDrop aprende el estilo de cualquier imagen y ayuda a un modelo de IA generativa a recrearlo. El método de Google supera a otros como Dreambooth, LoRA o Inversión Textual.
El nuevo método de Google permite la síntesis de imágenes en un estilo específico utilizando el modelo texto-imagen Muse. StyleDrop captura las complejidades de un estilo personalizado, incluyendo esquemas de color, sombreado, patrones de diseño y efectos locales y globales. Según Google, todo lo que se necesita como entrada es una sola imagen.
StyleDrop aprende el nuevo estilo ajustando un pequeño número de parámetros de red entrenables y mejora la calidad del modelo a través de entrenamiento iterativo con retroalimentación humana o automática.
StyleDrop aprende rápido y con pocos ejemplos
Específicamente, StyleDrop se entrena en la imagen de entrada y genera un conjunto de imágenes para reproducir esa imagen. A partir de esas imágenes, se seleccionan las de mayor calidad, ya sea a través de una puntuación CLIP o mediante retroalimentación humana, y se utilizan para un entrenamiento adicional. Una imagen se considera de alta calidad si reproduce el estilo de la imagen original, no su contenido.
Según el equipo, todo el proceso lleva menos de tres minutos, incluso con retroalimentación humana. Esto se debe a que StyleDrop necesita menos de una docena de imágenes para el entrenamiento iterativo.
Según el equipo, StyleDrop supera otros métodos de transferencia de estilo de modelos texto-imagen, incluyendo Dreambooth, LoRAs e Inversión Textual en Imagen y Diffusion Estable.
StyleDrop con Muse en comparación con otros métodos y modelos. | Imagen: Google
StyleDrop para estilo, Dreambooth para objetos
«Observamos que StyleDrop es capaz de capturar matices de textura, sombreado y estructura en una amplia variedad de estilos, significativamente mejor que enfoques anteriores, lo que permite un control mucho mayor sobre el estilo que antes no era posible», dijo el equipo.
El equipo también combina StyleDrop con Dreambooth para aprender y crear un nuevo objeto en diferentes estilos, como una imagen, y puede utilizar los métodos con Muse para crear un objeto personalizado en un estilo personalizado.
StyleDrop aprende un estilo y Dreambooth aprende un nuevo objeto, como un perro. | Imagen: Google
Google considera a StyleDrop una herramienta versátil, siendo uno de los casos de uso permitir que diseñadores o empresas entrenen con sus activos de marca y prototipen rápidamente nuevas ideas en su estilo. Más información está disponible en la página del proyecto StyleDrop.
