AI画像モデルは、新しい画像を生成したり、既存の画像を修正したりすることができる。ドリームジェネレーターは、これがカメラでどのように機能するかを示している。

従来のカメラとは異なり、ドリームジェネレーターでは次に撮影する世界を選ぶことができる：天国か地獄か、中世か、水中か宇宙か、バリエーションはたくさんある。30のテーマがあらかじめプログラムされている。

DreamGenerator é a camera que já processa a imagem com o stable diffusion

写真が撮影されると、あらかじめ選択されたテーマを使って瞬時に新しい画像に変換されます。人物の姿勢や顔の特徴、駐車場で車を撮影する際の視点など、写真の基本的な特徴は維持される。唯一の変化は、写真がキャプチャされた後、描かれた車が古いホンダではなく新しいフェラーリになることです。

O DreamGenerator transforma um velho Honda em uma nova Ferrari. O nome do dispositivo parece bem escolhido.
ドリームジェネレーターは、古いホンダを新しいフェラーリに変える。この装置の名前はよく選ばれたようだ。

「生成された画像は、元の写真の構図とポーズを参照し、重要な要素を確実に保持しながら、想像力豊かな新しいタッチを加える」と、開発者のKyle Goodrichは書いている。

もちろん、これは本物の写真とは何の関係もない。しかしGoodrich氏は、Stable Diffusionのようなシステムの複雑なプロンプトプロセスを簡素化することに興味があるという。もちろんこれはスマートフォンのアプリでも可能だが、グッドリッチ氏はポイント＆シュートカメラのシンプルさを好むという。

ControlNetを使えば、最小限のデータでStable Diffusionを微調整できる

グッドリッチ氏は画像処理に、オープンソースのStable Diffusionと、Stable Diffusionの画像間機能を大幅に強化するシンプルな微調整方法であるControlNetを組み合わせて使用している。

ここでは、与えられた被写体に対する微調整は、1枚の写真のような小さなデータセットで行われる。Stable Diffusionと同様、ControlNetは無料のオープンソースソフトウェアとして提供されており、スマートフォンでも動作する。

以下のビデオでは、Snapchatの拡張現実プロダクトデザイナーであるグッドリッチが、ハードウェアとソフトウェアのプロトタイプを示している。彼は小売版については言及していないので、AIカメラが欲しい人は自分で作る（あるいはスマートフォン用のアプリとして作る）必要がありそうだ。