DragGAN : Une nouvelle ère dans l’édition d’images ?

DragGAN ouvre une nouvelle catégorie dans l’édition d’images, où les images photoréalistes sont personnalisées par l’utilisateur en utilisant le glisser-déposer. Les détails sont manipulés par un GAN (Generative Adversarial Network).

Les méthodes actuelles de manipulation d’images, telles que des outils comme Photoshop, requièrent un haut degré de compétence pour contrôler avec souplesse et précision la position, la forme, l’expression ou la disposition d’objets individuels. Une autre option consiste à créer des images entièrement nouvelles à l’aide de l’IA générative, comme la diffusion stable ou les GAN, mais ces options offrent peu de contrôle.

Avec DragGAN, des chercheurs de l’Institut Max Planck d’informatique, du Centre de recherche de Sarrebruck pour l’informatique visuelle, du MIT CSAIL et de Google démontrent une nouvelle façon de contrôler les GAN pour le traitement des images.

Mise à jour Juin 2023: Il y a une démo pour DragGAN et le code source est maintenant disponible sur Github.

DragGAN : Traitement d’images par glisser-déposer

DragGAN peut traiter des images photoréalistes tant que les représentations correspondent aux catégories de l’ensemble de données d’entraînement GAN. Cela inclut les animaux, les voitures, les personnes, les cellules et les paysages. Dans une interface simple, les utilisateurs font glisser des points définis dans une image vers les positions souhaitées, par exemple pour fermer les yeux d’un chat, faire pivoter la tête d’un lion et ouvrir sa bouche, ou transformer une voiture en un autre modèle.

Vidéo : Pan et al.

DragGAN suit ces points et génère des images correspondant aux changements souhaités.

DragGAN produit des résultats réalistes pour des scénarios difficiles

« En utilisant DragGAN, n’importe qui peut déformer une image en contrôlant précisément l'emplacement des pixels, manipulant ainsi la pose, la forme, l’expression et la disposition de diverses catégories », a déclaré l’équipe. « Comme ces manipulations sont effectuées dans l’espace d’image génératif appris par un GAN, elles tendent à produire des résultats réalistes, même pour des scénarios difficiles, tels que l’hallucination d’un contenu caché et la déformation de formes qui suivent constamment la rigidité de l’objet

draggan edição de imagem

Dans une comparaison, l’équipe montre que DragGAN est clairement supérieur aux autres approches. Cependant, certains changements sont encore accompagnés d’artefacts lorsqu’ils se situent en dehors de la distribution d’entraînement.

Caractéristiques de l’éditeur de photos DragGAN :

DragGAN est une technologie de pointe qui permet de modifier des images de manière interactive et ponctuelle. Cette application avancée possède plusieurs capacités qui permettent d’élever l’édition d’images à un niveau supérieur.

Excellent contrôle: Avec l’outil d’édition DragGAN AI, les utilisateurs ont un contrôle précis sur la distorsion de l’image. Au lieu de faire des ajustements larges et imprécis, cette technologie permet aux utilisateurs d’éditer les pixels avec une extrême précision, garantissant ainsi l’effet désiré.

Polyvalence: La polyvalence de DragGAN est remarquable. Il permet aux utilisateurs de modifier les photos de différentes manières, y compris en changeant les poses, les formes, les émotions et les mises en page. Grâce à sa flexibilité, c’est un excellent outil pour un large éventail de tâches d’édition d’images.

Efficacité: Lorsqu’il s’agit d’édition d’images, le temps est un facteur essentiel, et DragGAN excelle à cet égard. Il travaille rapidement, ne nécessitant souvent que quelques secondes pour modifier une image. Cette efficacité permet à l’utilisateur d’effectuer ses tâches d’édition de manière efficace et efficiente.

Haute précision: Des résultats réalistes sont essentiels dans l’édition d’images, et DragGAN excelle dans ce domaine. Il réalise des performances exceptionnelles dans des conditions difficiles, telles que la génération de contenu pour des zones obscures et la déformation de formes tout en conservant la rigidité de l’objet. Ce haut degré de précision en fait un outil fiable pour les applications qui requièrent des changements visuels précis et réalistes.

Télécharger DragGAN AI Editing Tool

DragGAN est encore en cours de développement et n’est pas disponible au téléchargement. Selon les développeurs, le logiciel sera disponible en juin 2023. Inscrivez-vous à leur liste de diffusion pour être tenu au courant de la sortie et de la disponibilité de DragGAN. En vous inscrivant à leur liste de diffusion, vous recevrez des alertes et serez parmi les premiers à savoir quand le programme sera prêt à être téléchargé.

Comment installer et utiliser l’outil d’édition DragGAN AI – Ubuntu

Bien que l’installation et l’utilisation officielles de l’outil d’édition DragGAN AI ne soient pas recommandées pour le moment, certains développeurs ont fait tout leur possible pour installer et essayer DragGAN AI. Dans ce tutoriel, nous allons montrer comment installer et exécuter le code de DragGAN AI en utilisant une version de GitHub sur un serveur Ubuntu 22.04 avec un GPU Tesla T4, 2vCPU, 7.5 GB RAM, 50 GB d’espace disque, secure boot désactivé dans Google Cloud.

Cette configuration de DragGAN AI Editing Tool a été testée sur Google Cloud avec les paramètres mentionnés ci-dessus. Si vous souhaitez utiliser un autre GPU, vous pouvez installer le pilote Nvidia approprié pour votre GPU.

Configurer le serveur pour DragGAN sur Ubuntu 22.04

Suivez l’article ci-dessous pour configurer l’architecture de Deep Learning avec Nvidia, CUDA, cuDNN et Anaconda 3 avant d’installer l’outil d’édition DragGAN.

como usar o draggan

Pré-requis

Configurer l’architecture de Deep Learning avec Nvidia, Cuda, cuDNN, Anaconda

Suivez les étapes jusqu’à l’installation d’Anaconda3. Il n’est pas nécessaire d’installer TensorFlow ou PyTorch. Installons tous les paquets Python nécessaires comme indiqué ci-dessous.

Cloner le dépôt GitHub

Vous pouvez maintenant cloner le dépôt GitHub en utilisant la commande git clone.

git clone https://github.com/Zeqiang-Lai/DragGAN.git

Naviguez jusqu’au répertoire.

cd DragGAN

Créer l’environnement Conda

Vous pouvez maintenant créer un environnement Anaconda et commencer à installer les paquets.

conda create -n draggan python=3.7conda activate dragganpip install -r requirements.txt

Cela prendra un certain temps pour télécharger tous les paquets nécessaires. Attendez que l’installation soit terminée.

Démarrer DragGAN

Une fois l’installation terminée, vous pouvez lancer la commande ci-dessous pour démarrer l’outil d’édition DragGAN en utilisant Gradio.

python gradio_app.py

Gradio fonctionne sur le port 7860 [http://localhost:7860]. Vous pouvez créer une règle de pare-feu pour ouvrir ce port ou mettre en place un reverse proxy Nginx afin de pouvoir l’ouvrir dans votre navigateur sans spécifier le port.

exemplo do draggan rodando em um ambiente local

Configuration de Nginx pour Gradio (optionnel)

Vous trouverez ici comment configurer un proxy inverse Nginx pour démarrer Gradio dans votre navigateur sans spécifier le port. Vous pouvez également configurer un nom de domaine et installer SSL si nécessaire.

Exécutez la commande ci-dessous pour installer Nginx.

sudo apt install nginx

Supprimez les paramètres par défaut de Nginx.

sudo rm -rf /etc/nginx/sites-enabled/defaultsudo rm -rf /etc/nginx/sites-available/default

Créez une nouvelle configuration Nginx pour DragGAN.

sudo nano /etc/nginx/sites-available/draggan.conf

Copiez et collez le code dans l’éditeur.

server {
    listen [::]:80;
    listen 80;

    server_name YOUR_EXTERNAL_IP;

    location / {
        proxy_pass http://localhost:7860;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
   }
}


Remplacez YOUR_EXTERNAL_IP par votre adresse IP externe ou votre nom de domaine.

Activez la configuration de Nginx pour DragGAN.

udo ln -s /etc/nginx/sites-available/draggan.conf /etc/nginx/sites-enabled/draggan.conf

Vérifiez la configuration de Nginx.

sudo nginx -t

Redémarrez Nginx pour que la configuration de DragGAN prenne effet.

sudo service nginx restart

Maintenant, vous pouvez ouvrir l’éditeur DragGAN dans votre navigateur web en utilisant votre adresse IP ou nom de domaine.

Limitations de l’utilisation de l’IA DragGAN

Actuellement, DragGAN est en développement, ce qui signifie qu’il présente certaines limitations.

  • Premièrement, la génération d’images peut être lente dans certains cas.
  • Deuxièmement, il peut parfois créer des images qui ne sont pas réalistes.
  • Troisièmement, DragGAN peut ne pas être accessible sur tous les systèmes s’il n’est pas correctement configuré.

Cet article vise à vous aider à apprendre à configurer l’outil d’édition DragGAN AI sur Ubuntu 22.04. Nous espérons que cela vous a été utile. N’hésitez pas à partager vos pensées et vos commentaires dans la section des commentaires ci-dessous.

Plus d’informations sont disponibles dans l’article, sur Hugging Face ou sur la page du projet DragGAN.