ミドルPCでも画像生成したい

高スペックPC以外で画像生成をしようとすると色々な弊害が発生する

• 高性能PCじゃないと正しい設定でもエラー頻出
• 画像生成に半端なく時間が掛かる

結果、無理やんってなる。けれど【Stable Diffusion Forge】なら大分マシになる。
ちなみに自分のＰＣスペックはこれ

ミドルスペックにも満たないって？
ゲームやったり動画作ったりしない限り、これ以上のスペック必要としたことないんですわ。

Gitのインストール

gitの公式ページから自分の環境にあったものをダウンロード。自分の場合はOSがWindows64bitなので
Standalone Installer 64-bit Git for Windows Setup. をインストールしたよ。

Cドライブ直下に新規フォルダを追加

フォルダ名は自分がわかれば何でもいいので「forge」にした。

Gitを起動する

Git本体をそのまま起動するとフォルダまでの移動が面倒なので、新しく作った「forge」フォルダ内でマウス右クリックをして、Open Git Bush Here　を選択。
見つからない場合は、【その他のオプションを確認】を選択してみてください。

Stable Diffusion Forge　インストール

以下のコマンドをコピー。

git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git

張り付けには、【Shift + Insert】またはマウスの中ボタンのクリックをしよう。クリックできたらEnter。

forgeフォルダの中に新しいフォルダ【stable-diffusion-webui-forge】が出来ているのが確認できていたら成功。

Forgeをローカル環境へ構築

【stable-diffusion-webui-forge】の中にある【webui-user.bat】を開こう。
勝手にずらずら～っとコマンドが流れ始める。止まったと思っても、待ち続けよう。
完了すると自動でブラウザにStable Diffusionというページが立ち上がる。

【webui-user.bat】は毎回使うことになるので、デスクトップにショートカットを作るなどしておこう。

CheckpointとLoRAをゲット

Checkpointは画像生成の時に基本とするモデル。LoRAは追加で特徴を持たせたい時に使用することになる。
勘違いして欲しくないのは、LoRAは必須ではないということ。

CiviaiにGO

CivitaiにCheckpointを探しにいこう。まずは会員登録を済ませよう。
今回はアニメ系の画像生成に挑戦してみる。

欲しいモデルを検索（無論、英単語で）

上の検索windowで anime と検索。

Highest Ratedでソートして、Model TypeをCheckpointでフィルターして絞り込んでみる。

高クオリティのモデルが沢山ある
容量が基本4GB前後とでかいです。
Checkpointはバージョンが色々あるけど、今回は低スペで動かすのでSD1.5のものを選ぶ。
CheckpointにはSetでVAEも配布されていることがあるので注意。

checkpointをインポートする

C:\forge\stable-diffusion-webui-forge\models\Stable-diffusion

VAEフォルダには、VAEをインポート。
これで必要最低限の動作環境は整ったことになる。

動作確認テスト

webui-user.bat をダブルクリックしてForgeを立ち上げよう。
インポートしたCheckpointを選択して、Promptに「1 girl」と入力。
画面右端のGenerateボタンを押すと、画像生成が開始される。

テスト結果

解像度512×640の画像が、わずか15秒ほどで完走した……！
Automatic1111だと３～５分は覚悟しないといけないのに……速い！！
とりあえずここまでで正常に動作すればゴールも目前だ！

自分の好きなRORAを探す

今回のLoRAはドット絵に使えるものを探そうと思う。
基本的にLoRAを使う時は、CheckPointとの相性がとても大事です。

ドット絵なので、検索ワードは「pixel」になる。
モデルタイプのフィルターから【LoRA】を選択。

素敵なドット絵LoRAが選り取り見取り。
とも思うだろうが、Checkpointがモデル SD1.5なので、LoRAも1.5のものにしよう。
適当に先ほどのCheckpointと相互性のあるLoRAをダウンロード。

C:\forge\stable-diffusion-webui-forge\models\Stable-diffusion
の中のLoRAフォルダにぶち込む。

LoRAを選択して、Promptにタグを挿入する

Promptにタグが挿入されたのがわかるだろう。
このタグが挿入されることで、このLoRAを使うんだなってことをAIが理解してくれる。

Promptを入力しよう！

AI絵師とかいるけど、腕の差が出るのがここ。
PromptとNegative Promptに適切な語句を設定するのが腕の見せ所。

定番のPrompt

Prompt

masterpiece,best quality,ultra detailed

Negative Prompt

worst quality,out of focus,JPEG artifacts,low resolution,error

生成してみる！

スクリプトに若干、語句をプラスして生成！
まずはCheckpointのみを使って生成！

Checkpointのみで生成

masterpiece,best quality,ultra detailed,pixel art,1 girl,grassland

やり直し無しの一発勝負で2枚出力してみた。英語で【ドット絵、少女一人、草原】を指定してみた。
若干、指が怪しいけど……まぁまぁまぁ(´ー｀)
ちゃんとドット絵になってるし、多少はね？

草原を指定から外して少女2人に変更してみる。

ドットライクな絵が出力される好みなCheckpointだ。
ちなみにmeinamixというチェックポイントだよ。

背景なんかも出力してみる。

LoRAを適用して出力

MeinaMix

MeinaMix

忘れてはいけないのが、LoRA名と、トリガーワードの設定。
例えば、このLoRAのTrigger Wordsは【Pixel_Art】になっている。

 <lora:PixelArt:1>,Pixel_Art,masterpiece,best quality,ultra detailed,1 girl,grassland

サンプリングステップ20だと話しにならなかったので50へ変更して出力。
大分レトロ感が増した仕上がりになっている。趣味に合わない場合は、他の軽いLoRAを探すなり、好みのLoRAを探すのもいいと思う。
そもそも使わないのも有りだ。

結論：Forgeはすごい……が

既存のStable Diffusion automatic1111では、自分のスペックだと生成に３～5分は覚悟する解像度の画像生成も10秒程度で生成できるようになった。絵師が怒る訳だ。
低スペックPCが画像を出力したいのであれば、forgeはマストであろう。
お好みでUIを日本語化したり、ダークモードにしたりとか、拡張機能をインストールなどすれば更に楽しめそうだね。

ちなみに今回がインストールしたCheckpointとLoRAはこれ

Checkpoint　：　meinamix_v12Final
LoRA　：　Pixel Art (Style)

おまけ

魔法のボタンを使ってみたよ