DragGAN: Uma nova era na edição de imagens?

DragGAN: Uma nova era na edição de imagens?

O DragGAN abre uma nova categoria na edição de imagens, onde imagens fotorrealistas são personalizadas pelo usuário através do recurso de arrastar e soltar. Os detalhes são manipulados por um GAN (Rede Generativa Adversarial).

Os métodos atuais de manipulação de imagens, como ferramentas como o Photoshop, exigem um alto grau de habilidade para controlar de forma flexível e precisa a posição, forma, expressão ou arranjo de objetos individuais. Outra opção é criar imagens completamente novas usando IA generativa, como o Stable Diffusion ou GANs, mas essas opções oferecem pouco controle.

Com o DragGAN, pesquisadores do Instituto Max Planck de Ciência da Computação, do Centro de Pesquisa em Computação Visual de Saarbrücken, do MIT CSAIL e do Google demonstram uma nova maneira de controlar GANs para processamento de imagens.

Atualização Junho 2023: Existe uma demonstração para o DragGAN e o código-fonte agora está disponível no Github.

DragGAN: Processamento de imagens por arrastar e soltar

O DragGAN pode processar imagens fotorrealistas desde que as representações correspondam às categorias do conjunto de dados de treinamento do GAN. Isso inclui animais, carros, pessoas, células e paisagens. Em uma interface simples, os usuários arrastam pontos definidos em uma imagem para as posições desejadas, por exemplo, para fechar os olhos de um gato, girar a cabeça de um leão e abrir sua boca, ou transformar um carro em outro modelo.

O DragGAN rastreia esses pontos e gera imagens correspondentes às alterações desejadas.

DragGAN produz resultados realistas para cenários desafiadores

“Através do DragGAN, qualquer pessoa pode deformar uma imagem com controle preciso sobre onde os pixels vão, manipulando assim a pose, forma, expressão e layout de diversas categorias”, disse a equipe. “Como essas manipulações são realizadas no espaço gerativo de imagem aprendido por um GAN, elas tendem a produzir resultados realistas, mesmo para cenários desafiadores, como alucinar conteúdo oculto e deformar formas que seguem consistentemente a rigidez do objeto.”

Em uma comparação, a equipe mostra que o DragGAN é claramente superior a outras abordagens. No entanto, algumas alterações ainda são acompanhadas por artefatos quando estão fora da distribuição de treinamento.

Recursos do Editor de Fotos DragGAN:

O DragGAN é uma tecnologia de ponta que oferece alteração interativa de imagens baseada em pontos. Este aplicativo avançado possui várias capacidades que levam a edição de imagens a um patamar totalmente novo.

Excelente Controle: Com a Ferramenta de Edição DragGAN AI, os usuários têm um controle preciso sobre a distorção da imagem. Em vez de fazer ajustes amplos e imprecisos, essa tecnologia permite que os usuários editem pixels com extrema precisão, garantindo o efeito desejado.

Versatilidade: A versatilidade do DragGAN é notável. Ele permite que os usuários alterem fotos de várias maneiras, incluindo mudança de posturas, formas, emoções e layouts. Devido à sua flexibilidade, é uma excelente ferramenta para uma ampla gama de tarefas de edição de imagens.

Eficiência: Quando se trata de edição de imagens, o tempo é essencial, e o DragGAN se destaca nesse aspecto. Ele funciona rapidamente, muitas vezes precisando apenas de alguns segundos para modificar uma imagem. Essa eficiência garante que as tarefas de edição dos usuários sejam concluídas de forma eficiente e eficaz.

Alta Precisão: Resultados realistas são essenciais na edição de imagens, e o DragGAN se destaca nisso. Ele apresenta um desempenho excepcional em condições difíceis, como geração de conteúdo para áreas obscurecidas e deformação de formas mantendo a rigidez do objeto. Esse alto grau de precisão torna-o uma ferramenta confiável para aplicativos que requerem alterações visuais exatas e realistas.

Baixar a Ferramenta de Edição DragGAN AI

O DragGAN ainda está em desenvolvimento e não está disponível para download. De acordo com os criadores, o software estará disponível em junho de 2023. Inscreva-se na lista de e-mails deles para se manter atualizado sobre o lançamento e disponibilidade do DragGAN. Ao ingressar na lista de e-mails, você receberá alertas e será um dos primeiros a saber quando o programa estiver pronto para download.

Como Instalar e Usar a Ferramenta de Edição DragGAN AI – Ubuntu

Embora a instalação e o uso oficiais da Ferramenta de Edição DragGAN AI não sejam recomendados neste momento, alguns desenvolvedores se esforçaram para instalar e experimentar o DragGAN AI. Neste tutorial, mostraremos como instalar e executar o código do DragGAN AI usando uma versão do GitHub no Ubuntu 22.04 Server com GPU Tesla T4, 2vCPU, 7,5 GB de RAM, 50 GB de espaço em disco, inicialização segura desabilitada no Google Cloud.

Esta configuração da Ferramenta de Edição DragGAN AI foi testada no Google Cloud com as configurações mencionadas acima. Se você desejar ter uma GPU diferente, poderá instalar o driver Nvidia apropriado para sua GPU.

Configurar o Servidor para o DragGAN no Ubuntu 22.04

Siga o artigo abaixo para configurar a Arquitetura de Aprendizado Profundo com Nvidia, CUDA, cuDNN e Anaconda 3 antes de instalar a ferramenta de edição DragGAN.

Pré-requisitos

Configurar a Arquitetura de Aprendizado Profundo com Nvidia, Cuda, cuDNN, Anaconda

Siga os passos até a instalação do Anaconda3. Não é necessário instalar o TensorFlow ou o PyTorch. Vamos instalar todos os pacotes Python necessários conforme mencionado abaixo.

Clonar o Repositório do GitHub

Agora você pode clonar o repositório do GitHub usando o comando git clone.

git clone https://github.com/Zeqiang-Lai/DragGAN.git

Navegue até o diretório.

cd DragGAN

Criar Ambiente Conda

Agora você pode criar um ambiente do Anaconda e começar a instalar os pacotes.

conda create -n draggan python=3.7
conda activate draggan
pip install -r requirements.txt

Isso levará algum tempo para baixar todos os pacotes necessários. Aguarde a conclusão da instalação.

Iniciar o DragGAN

Após a conclusão da instalação, você pode executar o comando abaixo para iniciar a ferramenta de edição do DragGAN usando o Gradio.

python gradio_app.py

O Gradio é executado na porta 7860 [http://localhost:7860]. Você pode criar uma regra de firewall para abrir essa porta ou configurar um proxy reverso do Nginx para que você possa abri-la no seu navegador sem especificar a porta.

Configuração do Nginx para o Gradio (Opcional)

Aqui você encontrará como configurar um proxy reverso do Nginx para iniciar o Gradio em seu navegador sem especificar a porta. Você também pode configurar um nome de domínio e instalar SSL, se necessário.

Execute o comando abaixo para instalar o Nginx.

sudo apt install nginx

Remova as configurações padrão do Nginx.

sudo rm -rf /etc/nginx/sites-enabled/default
sudo rm -rf /etc/nginx/sites-available/default

Crie uma nova configuração do Nginx para o DragGAN.

sudo nano /etc/nginx/sites-available/draggan.conf

Copie e cole o código no editor.

server {
    listen [::]:80;
    listen 80;

    server_name YOUR_EXTERNAL_IP;

    location / {
        proxy_pass http://localhost:7860;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
   }
}

Substitua YOUR_EXTERNAL_IP pelo seu IP ou nome de domínio.

Ative a configuração do Nginx para o DragGAN.

sudo ln -s /etc/nginx/sites-available/draggan.conf /etc/nginx/sites-enabled/draggan.conf

Verifique a configuração do Nginx.

sudo nginx -t

Reinicie o Nginx para que a configuração do DragGAN entre em vigor.

sudo service nginx restart

Agora você pode abrir o editor do DragGAN em seu navegador da web, utilizando seu IP ou nome de domínio.

Limitações do uso do DragGAN AI

Atualmente, o DragGAN está em desenvolvimento, o que significa que ele possui algumas limitações.

• Em primeiro lugar, a geração de imagens pode ser demorada em alguns casos.
• Em segundo lugar, ocasionalmente pode criar imagens que não são realistas.
• Em terceiro lugar, o DragGAN pode não ser acessível em todos os sistemas se não for configurado corretamente.

Este artigo tem como objetivo ajudar você a aprender a configurar a Ferramenta de Edição DragGAN AI no Ubuntu 22.04. Esperamos que tenha sido útil para você. Sinta-se à vontade para compartilhar seus pensamentos e feedback na seção de comentários abaixo.

Mais informações estão disponíveis no artigo, no Hugging Face ou na página do projeto DragGAN.