Los investigadores de Snapchat han desarrollado un nuevo método para imágenes de IA en smartphones. Esto permitirá a los usuarios prescindir del hardware necesario de otra manera y disfrutar de una mayor privacidad.
Las versiones recientes de IA de imágenes, como Midjourney 5.1, Stable Diffusion XL y Adobe Firefly, han elevado la calidad de los gráficos generados a un nuevo nivel. Sin embargo, estos modelos también tienen desventajas innegables: son muy grandes y tienen arquitecturas de red complejas, lo que los hace intensivos en computación y lentos.
Ejecutar estos modelos a gran escala requiere GPUs de alto rendimiento y inferencia basada en la nube, lo cual es costoso y plantea preocupaciones sobre la privacidad. Los investigadores de Snap Inc, la empresa matriz de Snapchat, y de la Northeastern University están demostrando ahora SnapFusion. Se dice que este modelo es el primero en ejecutar modelos de difusión en un smartphone en menos de dos segundos.
Imagen: Li et al.
Aunque el fabricante de chips Qualcomm demostró en febrero que podía generar imágenes de IA en un smartphone en menos de 15 segundos, el SnapFusion funciona mucho más rápido, al menos en el iPhone 14 Pro.
Imágenes comparables a Stable Diffusion v1.5
Al introducir una arquitectura de red más eficiente y menos etapas de inferencia, el SnapFusion es capaz de generar una imagen de 512 por 512 píxeles a partir de un texto de entrada en poco tiempo, acercándose a la calidad de Stable Diffusion v1.5, según el equipo. Para lograr esto, SnapFusion solo requiere ocho etapas de eliminación de ruido, mientras que el método de Qualcomm requiere 20 etapas.
Un video de demostración de los investigadores muestra el SnapFusion en acción en el iPhone 14 Pro, el smartphone más potente de Apple hasta la fecha. El método de Qualcomm anteriormente solo era posible con su último chip de alto rendimiento, el Snapdragon 8 Gen 2.
«Nuestro trabajo democratiza la creación de contenido, poniendo modelos potentes de difusión de texto a imagen en manos de los usuarios», afirman los investigadores, explicando su motivación para trabajar en el proyecto. Sin embargo, el SnapFusion está lejos de ser perfecto.
Según los investigadores, el modelo todavía tiene un número relativamente grande de parámetros. Además, en un futuro cercano, se requerirá trabajo para hacer que la tecnología funcione en más smartphones además del iPhone 14 Pro, haciéndola accesible a una audiencia más amplia.
Snapchat ya tiene experiencia con IA generativa, pero más en el ámbito del texto con su chatbot personal, My AI.
