Os pesquisadores do Snapchat desenvolveram um novo método para imagens de IA em smartphones. Isso deve permitir que os usuários eliminem o hardware que seria necessário de outra forma e desfrutem de uma maior privacidade.
As versões recentes de IA de imagem, como Midjourney 5.1, Stable Diffusion XL e Adobe Firefly, elevaram a qualidade dos gráficos gerados a um novo nível. No entanto, esses modelos também têm desvantagens indiscutíveis: são muito grandes e possuem arquiteturas de rede complexas, o que os torna intensivos em computação e lentos.
Executar esses modelos em escala requer GPUs de alto desempenho e inferência baseada em nuvem, o que é caro e levanta preocupações com a privacidade. Os pesquisadores da empresa controladora do Snapchat, Snap Inc, e da Northeastern University estão agora demonstrando o SnapFusion. Este modelo é dito ser o primeiro a executar modelos de difusão em um smartphone em menos de dois segundos.
Embora a fabricante de chips Qualcomm tenha demonstrado em fevereiro que poderia gerar imagens de IA em um smartphone em menos de 15 segundos, o SnapFusion funciona muito mais rápido, pelo menos no iPhone 14 Pro.
Imagens comparáveis ao Stable Diffusion v1.5
Ao introduzir uma arquitetura de rede mais eficiente e menos etapas de inferência, o SnapFusion é capaz de gerar uma imagem de 512 por 512 pixels a partir de um texto de entrada em pouco tempo, aproximando-se da qualidade do Stable Diffusion v1.5, de acordo com a equipe. Para fazer isso, o SnapFusion requer apenas oito etapas de remoção de ruído, enquanto o método da Qualcomm requer 20 etapas.
Um vídeo de demonstração dos pesquisadores mostra o SnapFusion em ação no iPhone 14 Pro, o smartphone mais poderoso da Apple até o momento. O método da Qualcomm anteriormente só era possível com seu mais recente chip de alta performance, o Snapdragon 8 Gen 2.
“Nosso trabalho democratiza a criação de conteúdo, trazendo modelos poderosos de difusão de texto para imagem às mãos dos usuários”, afirmam os pesquisadores, explicando sua motivação para trabalhar no projeto. No entanto, o SnapFusion está longe de ser perfeito.
De acordo com os pesquisadores, o modelo ainda possui um número relativamente grande de parâmetros. Além disso, no futuro próximo, será necessário realizar trabalhos para fazer com que a tecnologia funcione em mais smartphones além do iPhone 14 Pro, tornando-a acessível a uma massa mais ampla.
O Snapchat já possui experiência com IA generativa, mas mais no espaço de texto com seu chatbot pessoal, My AI.
