大きな画像を作る新しい方法 Hires. fixは過去のもの？ 【Stable Diffusion web UI ControlNet Tile】

大きな画像を生成しディテールの描かれた画像を作るHires. fixはもう過去のものです。Hires. fixに不満がある方は新しい方法を試してみましょう。

Stable Diffusionは小さく細かいものを描くのが苦手です。小さいものを綺麗に描くには生成画像を拡大すれば良いのです。Stable Diffusionでただ生成画像を大きくするとまともな絵は生成されません。クリーチャーがたくさん出てくることでしょう。Stable Diffusionは基本的に512x512ドットの絵を出すように作られています。また、単純な拡大 超解像では意味がありません。変な画像そのままに拡大してしまいます。

そんな時はHires. fixを使います。元の画像を使い新たな大きな画像をStable Diffusionが生成するという過程を経ます。元の画像に似ているけど新しい大きな画像を作っています。これできれいな顔やディテールが描かれた背景が作れます。

しかし、Hires. fixでは元の絵に似ている違う絵を作っているので元の絵の変わってほしくない部分まで変わってしまいます。プロンプトに書かれているものをあらゆるところで描こうとします。なかなか思った通りのきれいな絵が出てきません。

こんな不満を解消する新しい手順がControlNetのTileの登場によって可能となりました。

ControlNet for Stable Diffusion WebUI

  https://github.com/Mikubill/sd-webui-controlnet

[New Model] The finished tile model is released #1142

  https://github.com/Mikubill/sd-webui-controlnet/discussions/1142

ControlNetのTileは元画像の特徴をそのままにプロンプトに書かれている事を反映しながら画像を拡大する事ができます。つまりHires. fixの代わりに使えるのです。

また、SD upscale スクリプトを併用すると 元画像を4倍に拡大してControlNetも使うことができます。より大きなサイズの絵が作れます。ControlNetを使わずに4倍拡大するのはとても難しい作業でした。すぐに絵が破綻してしまうかまったく違った絵になってしまいました。

さらに SD upscaleスクリプトは画像を小さく分割しながら処理ができます。これはビデオメモリーが少ないグラフィックボードでも大きな画像を生成できるという事です。

Hires. fixに代わる新しい手順を試してみてください。