StyleDrop aprende o estilo de qualquer imagem e ajuda um modelo de IA generativa a recriá-lo. O método do Google supera outros como Dreambooth, LoRA ou Inversão Textual.
O novo método do Google permite a síntese de imagens em um estilo específico usando o modelo de texto-imagem Muse. O StyleDrop captura as complexidades de um estilo personalizado, incluindo esquemas de cores, sombreamento, padrões de design e efeitos locais e globais. De acordo com o Google, tudo o que é necessário como entrada é uma única imagem.
O StyleDrop aprende o novo estilo ajustando um pequeno número de parâmetros de rede treináveis e melhora a qualidade do modelo por meio de treinamento iterativo com feedback humano ou automático.
O StyleDrop aprende rápido e com poucos exemplos
Especificamente, o StyleDrop é treinado na imagem de entrada e gera um conjunto de imagens para reproduzir aquela imagem. A partir dessas imagens, as de mais alta qualidade são selecionadas, seja por meio de uma pontuação CLIP ou por feedback humano, e são usadas para treinamento adicional. Uma imagem é considerada de alta qualidade se ela não reproduzir o conteúdo, mas sim o estilo da imagem original.
Todo o processo leva menos de três minutos, mesmo com feedback humano, afirmou a equipe. Isso ocorre porque o StyleDrop precisa de menos de uma dúzia de imagens para o treinamento iterativo, segundo eles.
O StyleDrop supera outros métodos de transferência de estilo de modelos de texto para imagem, incluindo Dreambooth, LoRAs e Inversão Textual em Imagen e Diffusion Estável, de acordo com a equipe.
StyleDrop para estilo, Dreambooth para objetos
“Observamos que o StyleDrop é capaz de capturar nuances de textura, sombreamento e estrutura em uma ampla variedade de estilos, significativamente melhor do que abordagens anteriores, permitindo um controle muito maior sobre o estilo do que anteriormente possível”, disse a equipe.
A equipe também combina o StyleDrop com o Dreambooth para aprender e criar um novo objeto em diferentes estilos como uma imagem, e pode usar os métodos com o Muse para criar um objeto personalizado em um estilo personalizado.
O Google considera o StyleDrop uma ferramenta versátil, sendo um dos casos de uso permitir que designers ou empresas treinem com seus ativos de marca e prototipem rapidamente novas ideias em seu estilo. Mais informações estão disponíveis na página do projeto StyleDrop.
