Stability AIは、ClipDrop AIプラットフォームに新しいツール「Stable Doodle」を追加しました。このツールでは、簡単な落書きを高解像度のAI画像に変換することができます。
マウスで簡単に描ける落書きに加えて、落書きが表すべき内容を入力できます。オプションで、14種類のスタイルを選択できます。これらのスタイルは、フォトリアリズムやアナログ写真から、折り紙、アニメ、ピクセルアートまで多岐にわたります。
SDXLとTencentのT2Iアダプターの出会い
Stable Doodleは、Stability AIの最新かつ最もパワフルなモデルであるStable Diffusion XLをベースにしているが、バージョンは特定されていない。したがって、これがSDXLのバージョン0.9であるかどうかは不明である。SDXLは現在ClipDropとDreamStudioを通じてのみ入手可能である。
手のスケッチを詳細な画像に変換するために、StabilityはSDXLとTencent ARCのオープンソースT2I（text-to-image）アダプタを組み合わせている。
T2Iは、Stable Diffusion XLのような既存の大規模拡散モデルに追加することができ、スケッチ、セグメンテーションマップ、あるいはポーズなどの追加入力条件を提供します。これは、Stable Diffusionですでに広く使用されているControlNetに似ています。
T2IやControlNetは、事前に訓練されたモデルのオリジナルの生成能力に影響を与えないという利点があり、同じ基礎（SDXLだけでなくSD v1.5など）をベースにしている限り、異なるモデルにも簡単に適用できます。
Clipdrop経由で無料でお試しください。
StableDoodleは、Clipdropのウェブサイト、AndroidおよびiOSアプリで無料でお試しいただけます。ただし、ウォーターマークなしの画像をダウンロードできるのはプロメンバーのみです。
基本的に、このツールはアマチュアとプロの両方を対象としており、Stabilityによれば、教育からクリエイティブなデザインまで、多くの業界を大幅に改善する可能性を秘めている。
落書きをAI画像に変えるのは伝統がある
Stable Doodleは、テキストプロンプト以外の追加入力でAI画像の結果に影響を与える方法の増加グループに加わる。例えば、アドビは最近、3Dオブジェクトの配置によってAI画像をよりパーソナライズする方法を示した。
単純な描画を画像処理に組み込むというアイデアは新しいものではない。2018年、DeepMindは同様のアプローチを実験したが、結果はStable Doodleが提供する解像度と詳細レベルには及ばなかった。
