画像生成AIをコントロールするAI ControlNetの使い方【Stable Diffusion Extension sd-webui-controlnet 】
画像生成AIがまた進化しました。Stable DiffusionのAIに介入し描いてほしい絵に誘導するControlNetという仕組みが発表されました。使い方としてはimg2imgの上位バージョンといった感じです。人・物の配置の構図、人の姿勢などを入力画像に合わせてくれます。使い方を紹介します。
ControlNetのリンクはこちら
Stable Diffusion web UIで使えるExtensionを作ってくれた方がいます。
sd-webui-controlnet
画像生成AIを始めてみたいという方はこちら
画像生成AIをGPU無しCPUだけで動かしてみる【Stable Diffusion web UI no GPU CPU only】
ControlNetのWeb UIはStable Diffusion web UIのExtensionsタブから入れられます。上のsd-webui-controlnetのリンク先のCodeからURLをコピーしてInstall from URLのURLに貼り付けてインストールします。
この他にControlNet用のモデルファイルが必要です。次のリンクからダウンロードします。
lllyasviel/ControlNet
大きなファイルが8個あります。すべてダウンロードします。
ダウンロードしたファイルは次のフォルダーに配置します。
stable-diffusion-webui\ extensions\ sd-webui-controlnet\models
ControlNetはimg2imgのように使います。入力画像で人や物の形を決める事ができます。入力画像はプリプロセッサーで処理し、輪郭や奥行きなどの特徴を表す画像に変換されます。変換した画像を元にControlNetのAIがStable DiffusionのAIをコントロールして特徴の似た画像を作ります。
ブログの文字で書いてもナンノコッチャとなるのでビデオを御覧ください。
以前の「画像生成AIをGPU無しCPUだけで動かしてみる」は大変参考になりました。ありがとうございます。
返信削除ControlNetもGPU無しCPUだけで動かすことは出来ないでしょうか？
コメントありがとうございます。コメント気づくの遅くなりました。GPU無しで動きませんでしたか？試していませんが動くようですよ。
削除バージョンか他によるのかもしれませんがcontrolnetはそのままではCPUだけでは動きませんでしたよ 中身を書き換えれば使えるとのサイトは見ましたが
削除