Vampire: The Masquerade – Bloodlines」はカルト的な名作だが、Stable Diffusionフィルターによって、AIによるリマスターがどのようなものになるかが示された。
2021年、インテルの研究者たちは、人工知能が将来どのようにビデオゲームにフォトリアリズム・フィルターのようなものを適用できるかを示した。その例では、研究チームは『グランド・セフト・オート5』に新しい外観を与えた。植生、アスファルト、反射面のある車などが、ピクセルグラフィックス上のネットワークによって計算された。
研究チームは、GTA 5のスクリーンショット画像と、自転車や自動車など類似したコンテンツを含む現実世界の街頭画像のペアを用いてネットワークを訓練した。インテルのAIシステムは、画像のスタイルを転送するように学習した。トレーニング・データ・セットでは、あまり一般的でないオブジェクトやシーンは、この方法では説得力のないレンダリングとなった。
しかし、この例は3Dコンテンツに対するAIフィルターの可能性を示したものであり、NvidiaとTeslaも、例えば自律走行用のアルゴリズムを訓練するための同様の方法を発表している。
Vampire: The Masquerade – Bloodlines」のAIリマスターはこんな感じになるかもしれない。
拡散モデルは旧来の画像合成アーキテクチャーに取って代わり、ほとんどすべてのオブジェクトやシーンを写実的または様式化された方法でレンダリングできるようになった。Runwayのような企業は、すでにこれらのモデルを使用して、画像間のメソッドを使用してビデオをスタイリングしており、オープンソースコミュニティには、ビデオや3Dコンテンツで同様のことを行っている多くのプロジェクトがあります。
そのひとつがTemporalKitで、「Stable Diffusionレンダリングに時間的安定性を加える」ためのソリューションだ。Redditへの最近の投稿では、ある人がTemporalKitを使って、2004年の名作「Vampire: The Masquerade – Bloodlines」のAIリマスターがどのように見えるかを示している（そう、それは約20年前のことだ、申し訳ない）。
古いビデオゲームのキャラクターが、ほとんどフォトリアリスティックな人物になったり、街並みやキッチンのインテリアがほとんど本物に見えたりする。他の例でもよく知られているように、Stable Diffusionは時間の安定性にまだ少し苦戦している。
より効率的なアーキテクチャとハイブリッド・アプローチにより、AIフィルターが可能になるかもしれない。
Bloodlinesの “リマスター “は単なるビデオに過ぎないが、スタジオやMODコミュニティが将来、古い名作をどのように視覚的にリメイクできるかを示している。Stable Diffusionのようなモデルのジェネレーティブな機能を使えば、ユーザーは独自のリマスター・スタイルを決定することもできる。
というのも、現在入手可能な最速のグラフィックカードでも、Stable Diffusionはまだ60フレーム/秒を生成できないからだ。その代わりに、OpenAIの一貫性モデルや、2021年のインテルの研究を基に、生成AIモデルで学習データ不足の問題を解決するハイブリッド・アプローチなど、より効率的なアーキテクチャが将来的に使用される可能性がある。
