画像生成AIにモデルと追加学習ファイルを追加する方法【Stable Diffusion web UI Textual Inversion LoRA】

タイトル

AUTOMATIC1111 Stable Diffusion web UI にモデルファイルと追加学習ファイルを追加します。

画像生成AIは学習済みデータファイルを使って画像を作ります。学習済みデータはStable Diffusion（以下SD）のものを使っている方が多いでしょう。学習済みデータファイルはモデルとかCheckpointとか呼ばれます。
SDモデルの他にもモデルは公開されています。SDモデルを基本として追加学習を行ったモデルがあります。ゼロから学習させてモデルを作るのは学習用データを揃えるのが困難だったり、グラフィックボードの価格や学習に必要な時間と電気代が莫大になるのでとても難しいです。そのため、SDモデルに追加で学習させる事でコストを下げられます。
また、複数のモデルをマージして新しいモデルを作ることもできます。
こうして多くの新しいモデル（Checkpoint）が公開されています。これらのモデルを使ってみましょう。

追加学習でモデルを作るのはゼロからモデルを作るより簡単とはいえ、モデルを作るには大量のメモリーを搭載したグラフィックボードが必要になります。個人で買うのは難しい価格のグラフィックボードが必要です。そこでより簡単な方法としてExtra Networksというものが考えられました。学習済みデータをムダにすること無く追加で学習データをニューラルネットワークに組み込む方法です。
SD web UIは3種類のExtra networksが使えます。

ここで説明する画像生成AIはStable Diffusionを指します。自分のパソコンで動作させるには以前の記事を御覧ください。
画像生成AIをGPU無しCPUだけで動かしてみる【Stable Diffusion web UI no GPU CPU only】
https://signal-flag-z.blogspot.com/2023/01/A1111-Web-UI-Installer.html
GPU無しと書いていますがGPUありでも同じ手順で動かせます。

モデル（Checkpoint）を追加する

公開されているモデルファイルをダウンロードします。モデルを公開しているサイトはいくつかあります。Hugging FaceとCIVITAIがよく使われます。modelやcheckpointで検索してみましょう。

モデルの説明ページにはライセンスも書いてあるでしょう。ライセンスの確認は忘れずにやりましょう。
モデルファイルは拡張子がckptかsafetensorsとなっているものが使えます。ckptは少し古いフォーマットです。この記事公開時では、safetensorsがあればこれを使いましょう。

VAEファイル

モデルファイルと一緒にVAEファイルがあればそれも一緒にダウンロードします。VAEファイルを使うと生成画像の細部が改善されたり彩度が上がったりして少し綺麗な画像ができます。VAEファイルが無くとも画像は作れます。モデルファイル内にVAEが組み込まれているものもあります。
VAEファイルはモデル固有のものではありません。他のモデルのVAEファイルでも効果に若干違いがあるでしょうが使えます。SDのVAEファイルもあるので標準として使うと良いでしょう。

配置フォルダー

ダウンロードしたモデルファイルをSD web UIの所定のフォルダーへ移動します。
標準ではSD web UI フォルダーの下のmodelsフォルダーの下のStable-diffusionフォルダーになります。
stable-diffusion-webui\models\Stable-diffusion

VAEファイルもこのフォルダーに保存します。別にVAE用のフォルダーがありますが管理が面倒になるのでモデルと同じフォルダーでいいでしょう。
VAEファイルのファイルネームはモデルファイルと同じ名前にします。こうすることでモデル用のVAEファイルをSD web UIが認識できます。
モデルファイル：  ○✕△.safetensors
VAEファイル：    ○✕△.vae.pt

サブフォルダーを作ってそこへ置いても認識されます。シリーズごとに分けたりライセンスで分けておくと良いでしょう。

モデルの切り替え

SD web UI
Web UI画面左上のcheckpoint 横の 🔄をクリックするとモデルリストが更新されます。その後ドロップダウンリストを見ると追加したモデルが表示されているでしょう。

追加学習ファイルを追加する

Extra networksの追加学習データファイルをSD web UIに追加してみます。Extra Networksの種類によりファイルを配置するフォルダーが異なるだけです。
この記事公開時点でSD web UIが使えるExtra Networksには、
Textual Inversion、HypernetworksとLoRA
の三種類があります。

配置フォルダーはSD web UIのページに書いてあります。時間が経つと変わるかもしれないので確認してください。
AUTOMATIC1111 / stable-diffusion-webui ｜ GitHub
Extra networks

LoRAの拡張子はptだけではなくsafetensorsも使えます。両方ある場合はsafetensorsを使いましょう。

Extra Networks Web UI

SD web UI では checkpointやExtra Networksを簡単に選択できるExtra Networks Web UIが追加されました。

アイコン

Web UI画面右側のアイコンをクリックしましょう。モデルや追加学習データがカード表示されます。プレビュー画像を登録・表示することもできます。

Extra Networksの使い方

Extra Networkを使うには前節のカードをクリックします。するとプロンプトにカードの名前のキーワードが追加されます。プロンプトにこのキーワードが無ければExtra Networksは使われません。
Extra Networksにはトリガーワードが必要なものもあります。特定のキーワードで発現する効果が変わります。例えばキャラ名でキャラの特徴が現れたり、ポーズや画風の切り替えなどをします。トリガーワードが有る場合はダウンロードしたページに説明があるでしょう。メモしておきます。

ビデオ

文字で書いてもUIに関してわからないでしょう。ビデオを御覧ください。



コメント

コメントを投稿

最近のコメント

Threaded Recent Comments will be here.