A Stability AI adicionou uma nova ferramenta à sua plataforma de IA ClipDrop: o Stable Doodle. Essa ferramenta permite que você converta um simples rabisco em imagens de IA de alta resolução.
Além do rabisco, que pode ser desenhado facilmente com o mouse, é possível inserir uma descrição do que o seu rabisco deve representar. Opcionalmente, você pode escolher um dos 14 estilos disponíveis. Esses estilos variam desde o fotorealismo e a fotografia analógica até origami, anime e arte em pixel.
SDXL encontra o adaptador T2I da Tencent
O Stable Doodle é baseado no modelo mais recente e poderoso da Stability AI, o Stable Diffusion XL, mas em uma versão não especificada. Portanto, não está claro se esta é a versão 0.9 do SDXL, que atualmente só está disponível através do ClipDrop e DreamStudio.
Para converter esboços a mão em imagens detalhadas, a Stability combina o SDXL com o adaptador T2I (texto para imagem) de código aberto da Tencent ARC.
O T2I pode ser adicionado a um modelo de difusão grande existente, como o Stable Diffusion XL, fornecendo condições de entrada adicionais, como esboços, mapas de segmentação ou até mesmo poses. É semelhante ao ControlNet, que já é amplamente utilizado no Stable Diffusion.
O T2I ou o ControlNet possuem a vantagem de não afetar a capacidade original de geração do modelo pré-treinado e podem ser facilmente aplicados a diferentes modelos, desde que sejam baseados nos mesmos fundamentos (ou seja, não apenas o SDXL, mas também o SD v1.5, etc.).
Experimente gratuitamente através do Clipdrop
Você pode experimentar o Stable Doodle gratuitamente no site e nos aplicativos para Android e iOS do Clipdrop. No entanto, o download de imagens sem marca d'água está disponível apenas para membros Pro.
Basicamente, a ferramenta é direcionada tanto para amadores quanto para profissionais e, segundo a Stability, tem o potencial de melhorar significativamente diversas indústrias, desde educação até design criativo.
Transformar rabiscos em imagens de IA tem uma tradição
O Stable Doodle se junta a um grupo crescente de formas de influenciar o resultado de uma imagem de IA com entrada adicional além de prompts de texto. Recentemente, por exemplo, a Adobe demonstrou como personalizar melhor imagens de IA por meio do posicionamento de objetos 3D.
A ideia de incorporar desenhos simples no processo de geração de imagens não é nova. Em 2018, a DeepMind experimentou com uma abordagem semelhante, embora os resultados não se comparem à resolução e ao nível de detalhes oferecidos pelo Stable Doodle.
