ミドルPCでも画像生成したい(>_<)

高スペックPC以外で画像生成をしようとすると色々な弊害が発生する

• 高性能PCじゃないと正しい設定でもエラー頻出
• 画像生成に半端なく時間が掛かる

結果、無理やんってなる。けれど【Stable Diffusion Forge】なら大分マシになる。
ちなみにワイのＰＣスペックはこれ

中々の雑魚PCである。
いくどおおおおおおおおおお

Gitのインストール

gitの公式ページから自分の環境にあったものをダウンロード。自分の場合はOSがWindows64bitなので
Standalone Installer 64-bit Git for Windows Setup. をインストールしたよ。

Cドライブ直下に新規フォルダを追加

フォルダ名は自分がわかれば何でもいい。自分は「forge」にした。

Gitを起動する

Git本体をそのまま起動するとフォルダまでの移動が面倒なので、新しく作った「forge」フォルダ内でマウス右クリックをして、Open Git Bush Here　を選択。
見つからない場合は、【その他のオプションを確認】を選択してみてください。

Stable Diffusion Forge　インストール

以下のコマンドをコピー。

git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git

張り付けには、【Shift + Insert】またはマウスの中ボタンのクリックをしよう。クリックできたらEnter。

forgeフォルダの中に新しいフォルダ【stable-diffusion-webui-forge】が出来ているのが確認できていたら成功。

Forgeをローカル環境へ構築

【stable-diffusion-webui-forge】の中にある【webui-user.bat】を開こう。
勝手にずらずら～っとコマンドが流れ始める。止まったと思っても、待ち続けよう。
完了すると自動でブラウザにStable Diffusionというページが立ち上がる。

【webui-user.bat】は毎回使うことになるので、デスクトップにショートカットを作るなどしておこう。

CheckpointとLoRAとは

Checkpointは画像生成の時に基本とするモデル。LoRAは追加で特徴を持たせたい時に使用することになる。
勘違いして欲しくないのは、LoRAは必須ではないということ。

CiviaiにGO

CivitaiにCheckpointを探しにいこう。まずは会員登録を済ませよう。
今回はアニメ系の画像生成に挑戦してみる。

欲しいモデルを検索（無論、英単語で）

上の検索windowで anime と検索。

Highest Ratedでソートして、Model TypeをCheckpointでフィルターして絞り込んでみる。

高クオリティのモデルが沢山ある(●´ω｀●)
容量が１Gb以上とでかい。ダウンロードしよう。
Checkpointはバージョンが色々あるけど、今回は低スペで動かすのでSD1.5のものを選ぶ。
CheckpointにはSetでVAEも配布されているので注意。VAEも設定必要だからね

checkpointをインポートする

C:\forge\stable-diffusion-webui-forge\models\Stable-diffusion

VAEフォルダには、VAEをインポート。
これで必要最低限の動作環境は整ったことになる。

動作確認テスト

webui-user.bat をダブルクリックしてForgeを立ち上げよう。
インポートしたCheckpointを選択して、Promptに「1 girl」と入力。
画面右端のGenerateボタンを押すと、画像生成が開始される。

テスト結果

解像度512×640の画像が、わずか15秒ほどで完走した……！
Automatic1111だと３～５分は覚悟しないといけないのに……速すぎィ！！
とりあえずここまでで正常に動作すればゴールも目前だ！

自分の好きなRORAを探す

今回のLoRAはドット絵に使えるものを探そうと思う。

ドット絵なので、検索ワードは「pixel」になる。
モデルタイプのフィルターから【LoRA】を選択。

ヴォオオオオオ。素敵なドット絵LoRAが選り取り見取り(*‘ω‘ *)
とも思うだろうが、Checkpointがモデル SD1.5なので、LoRAも1.5のものにしよう。
適当に先ほどのCheckpointと相互性のあるLoRAをダウンロード。

C:\forge\stable-diffusion-webui-forge\models\Stable-diffusion
の中のLoRAフォルダにぶち込む。

LoRAを選択して、Promptにタグを挿入する

Promptにタグが挿入されたのがわかるだろう。
このタグが挿入されることで、このLoRAを使うんだなってことをAIが理解してくれる。

Promptを入力しよう！

AI絵師とかいるけど、腕の差が出るのがここ。
PromptとNegative Promptに適切な語句を設定するのが腕の見せ所。

定番のPrompt

Prompt

masterpiece,best quality,ultra detailed

Negative Prompt

worst quality,out of focus,JPEG artifacts,low resolution,error

生成してみる！

スクリプトに若干、語句をプラスして生成！
まずはCheckpointのみを使って生成！

Checkpointのみで生成

masterpiece,best quality,ultra detailed,pixel art,1 girl,grassland

やり直し無しの一発勝負で2枚出力してみた。英語で【ドット絵、少女一人、草原】を指定してみたぞ。
若干、指が怪しいけど……まぁまぁまぁ(´ー｀)
ちゃんとドット絵になってるし、多少はね？

草原を指定から外して少女2人に変更してみる。

非常に優秀なCheckpointだぁね。
ちなみにmeinamixというチェックポイントだよ。

背景なんかも出力してみる。

LoRAを適用して出力してみる

MeinaMix

MeinaMix

忘れてはいけないのが、LoRA名と、トリガーワードの設定。
例えば、このLoRAのTrigger Wordsは【Pixel_Art】になっている。

 <lora:PixelArt:1>,Pixel_Art,masterpiece,best quality,ultra detailed,1 girl,grassland

サンプリングステップ20だと話しにならなかったので50へ変更して出力。
大分レトロ感がマシた仕上がりになっている。趣味に合わない場合は、他の軽いLoRAを探すなり、好みのLoRAを探すのもいいと思う。
あくまで今回は、LoRAがどういうものかの説明に重きを置いてる故に

結論：Forgeはすごい……が

既存のStable Diffusion automatic1111では、ワイのスペックだと生成に３～5分は覚悟する解像度の画像生成もCheckpointのみであれば10秒程度で生成できるようになった。こりゃ、絵師が怒る訳だぜ！！
低スペックPCが画像を出力したいのであれば神と言い切れる。
お好みでUIを日本語化したり、ダークモードにしたりとか、拡張機能をインストールなどすれば更に楽しめそうだね。

ちなみに今回ワイがインストールしたCheckpointとLoRAはこれ

Checkpoint　：　meinamix_v12Final
LoRA　：　Pixel Art (Style)

おまけ

魔法のボタンを使ってみたよ