DragGAN：画像編集の新時代？

DragGANは、ドラッグ＆ドロップでフォトリアリスティックな画像をカスタマイズできる、画像編集の新しいカテゴリーを切り開く。細部はGAN（Generative Adversarial Network）によって操作される。

Photoshopのようなツールに代表される現在の画像操作方法では、個々のオブジェクトの位置、形状、表現、配置を柔軟かつ正確に制御するためには、高度なスキルが必要とされる。また、Stable DiffusionやGANのようなジェネレーティブAIを使って、まったく新しい画像を作成する方法もあるが、これらの方法ではほとんど制御できない。

DragGANでは、マックス・プランク計算機科学研究所、ザールブリュッケン視覚計算研究センター、MIT CSAIL、グーグルの研究者が、画像処理のためのGANを制御する新しい方法を実証している。

2023年6月更新：DragGANのデモがあり、ソースコードがGithubで公開されています。

DragGAN：ドラッグ＆ドロップによる画像処理

DragGANは、表現がGANトレーニングデータセットのカテゴリに一致する限り、フォトリアリスティックな画像を処理することができます。動物、車、人、細胞、風景などです。例えば、猫の目を閉じたり、ライオンの頭を回転させて口を開けたり、車を別のモデルに変形させたりすることができます。

動画Pan et al.

DragGANはこれらの点を追跡し、希望する変化に対応する画像を生成します。

DragGANは、困難なシナリオに対して現実的な結果を生成します。

「DragGANを使えば、誰でもピクセルの位置を正確に制御して画像を変形させることができ、それによって様々なカテゴリのポーズ、形状、表情、レイアウトを操作することができます」と研究チームは述べている。”これらの操作は、GANによって学習された生成画像空間で実行されるため、隠されたコンテンツの幻覚や、オブジェクトの剛性に一貫して従う形状の変形などの困難なシナリオであっても、現実的な結果が得られる傾向がある。”

draggan edição de imagem

比較の結果、研究チームはDragGANが他のアプローチよりも明らかに優れていることを示している。しかし、学習分布から外れると、いくつかの変化はまだアーティファクトを伴う。

DragGANフォトエディタの特徴

DragGANは、インタラクティブなポイントベースの画像変更を提供する最先端技術です。この高度なアプリケーションには、画像編集を全く新しいレベルに引き上げるいくつかの機能があります。

優れたコントロール：DragGAN AI編集ツールでは、画像の歪みを正確にコントロールすることができます。広範で不正確な調整を行う代わりに、この技術により、ユーザーは極めて正確にピクセルを編集することができ、望ましい効果を確実に得ることができます。

多用途性：DragGANの多用途性は注目に値します。ポーズ、形、感情、レイアウトの変更など、様々な方法で写真を加工することができます。その柔軟性により、様々な画像編集作業に最適なツールです。

効率性: 画像編集は時間が重要ですが、DragGANはこの点で優れています。DragGANは素早く動作し、画像を修正するのに必要な時間はわずか数秒です。この効率性により、ユーザーの編集作業は効率的かつ効果的に完了します。

高精度: 画像編集にはリアルな結果が不可欠ですが、DragGANはこの点で優れています。オブジェクトの剛性を維持したまま、不明瞭な部分のコンテンツを生成したり、形状を変形させるなど、難しい条件下でも優れたパフォーマンスを発揮します。この高い精度は、正確でリアルな視覚的変化を必要とするアプリケーションのための信頼できるツールです。

AI編集ツールDragGANのダウンロード

DragGANはまだ開発中で、ダウンロードはできません。制作者によると、このソフトウェアは2023年6月に利用可能になる予定です。メーリングリストに登録すると、DragGANのリリースと利用可能性に関する最新情報を入手できます。メーリングリストに参加すると、アラートが届き、プログラムがダウンロード可能になったことをいち早く知ることができます。

AI編集ツールDragGANのインストールと使用方法 – Ubuntu

現在、DragGAN AI編集ツールの公式なインストールと使用は推奨されていませんが、一部の開発者はDragGAN AIをインストールして試す努力をしています。このチュートリアルでは、Tesla T4 GPU、2vCPU、7.5GB RAM、50GBディスクスペース、Google Cloud上のセキュアブート無効のUbuntu 22.04 Server上に、GitHubバージョンを使用してDragGAN AIコードをインストールし、実行する方法を紹介します。

このDragGAN AI Editing Toolの設定は、上記の設定でGoogle Cloud上でテストされています。別のGPUを使用したい場合は、GPUに適したNvidiaドライバをインストールしてください。

Ubuntu 22.04上でのDragGAN用サーバーのセットアップ

以下の記事に従って、DragGAN編集ツールをインストールする前に、Nvidia、CUDA、cuDNN、Anaconda 3でディープラーニングアーキテクチャを設定します。

como usar o draggan

前提条件

Nvidia、Cuda、cuDNN、Anacondaを使用したディープラーニングアーキテクチャの設定

Anaconda3のインストールまでのステップに従ってください。TensorFlowやPyTorchをインストールする必要はありません。後述するように、必要なPythonパッケージをすべてインストールします。

GitHubリポジトリのクローン

git clone コマンドを使って GitHub リポジトリをクローンします。

git clone https://github.com/Zeqiang-Lai/DragGAN.git

ディレクトリに移動します。

cd DragGAN

Conda環境の作成

Anaconda環境を作成して、パッケージのインストールを開始します。

conda create -n draggan python=3.7
conda activate draggan
pip install -r requirements.txt

必要なパッケージを全てダウンロードするのに時間がかかります。インストールが完了するまでお待ちください。

DragGANの起動

インストールが完了したら、以下のコマンドを実行して、Gradioを使ったDragGAN編集ツールを起動します。

python gradio_app.py

Gradio はポート 7860 [http://localhost:7860] で動作します。このポートを開くファイアウォールルールを作成するか、Nginxのリバースプロキシを設定することで、ポートを指定せずにブラウザで開くことができます。

exemplo do draggan rodando em um ambiente local

Gradio用のNginx設定（オプション）

ここでは、ポートを指定せずにブラウザでGradioを起動するためのNginxリバースプロキシの設定方法を説明します。また、必要に応じてドメイン名を設定し、SSLをインストールすることもできます。

以下のコマンドを実行してNginxをインストールします。

sudo apt install nginx

デフォルトのNginx設定を削除します。

sudo rm -rf /etc/nginx/sites-enabled/default
sudo rm -rf /etc/nginx/sites-available/default

DragGAN用の新しいNginx設定を作成します。

sudo nano /etc/nginx/sites-available/draggan.conf

コードをコピーしてエディタに貼り付けます。

server {
 listen [::]:80;
 listen 80;

 server_name YOUR_EXTERNAL_IP;

 location / {
 proxy_pass http://localhost:7860;
 proxy_http_version 1.1;
 proxy_set_header Upgrade $http_upgrade;
 proxy_set_header Connection 'upgrade';
 proxy_set_header Host $host;
 proxy_cache_bypass $http_upgrade;
 }
}.

YOUR_EXTERNAL_IPをあなたのIPまたはドメイン名に置き換えます。

DragGAN用のNginx設定を有効にします。

sudo ln -s /etc/nginx/sites-available/draggan.conf /etc/nginx/sites-enabled/draggan.conf

Nginxの設定を確認する。

sudo nginx -t

Nginxを再起動して、DragGANの設定を有効にします。

sudo service nginx restart

これで、IPまたはドメイン名を使って、ウェブブラウザでDragGANエディタを開くことができます。

DragGAN AIを使用する際の制限事項

DragGANは現在開発中であり、いくつかの制限があります。

  • まず、画像生成に時間がかかる場合があります。
  • 第二に、現実的でない画像を作成することがあります。
  • 第三に、DragGANは、正しく設定されていない場合、すべてのシステムでアクセスできない可能性があります。

この記事は、Ubuntu 22.04上でDragGAN AI編集ツールを設定する方法を学ぶことを目的としています。ご意見、ご感想は下記のコメント欄までお気軽にお寄せください。

より詳しい情報は、記事、Hugging Face、またはDragGANプロジェクトのページでご覧いただけます。