Contents
Stable diffusionとは？
Stable diffusionはドイツのミュンヘン大学の研究チームが開発した「Text-to-Image(文字列から画像)」モデルで、要するに流行りの「画像生成AI」です。コードが一般公開されており、料金も無料で使うことができます。
ただ、使用には8GB以上のメモリを持つPCが推奨されているため、現段階ではStable diffusionを組み込んだアプリなどは別にしてスマホやタブレットで使用するのは難しいでしょう。
AUTOMATIC1111とは
AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。
実際にAUTOMATIC1111でAIイラストを生成する方法については下記の記事で紹介していますのでそちらを参考にしてください
関連記事：【Python】GoogleColab上でStableDiffusion+LoRAで美少女イラストを生成する
チューニング済みのモデルを使用する
StableDisffusonはそのままでも使用することができますが、そのままだとリアルっぽい絵が描写されますので、LoRAというアニメの絵柄に特化させたチューニング済みモデルを使用するといい感じのアニメ系のイラストが生成できます
参考記事：【Python】Stable Diffusionを使ってAI画像を生成するサンプルコード
そのLoRAについてもさらにチェックポイントという派生モデルがあり、それを使用することで特定の作者の絵柄などに寄せたイラストを簡単に生成することができます。ちなみに自分は主にCounterfeit-V2.5を使用しています。生成できる絵柄はこんな感じです。
関連記事：【Python】GoogleColab上でStableDiffusion+LoRAで美少女イラストを生成する
Stablediffusion専門用語解説
①Prompt(プロンプト)
Stablediffusionに絵を描いてもらう上で最も基本となる命令文のことです。性別や人種や表情や外見的特徴(髪や目や口など)や絵柄について漠然とした単語でもいいので描かせたい絵をできるだけ細かく言語化しましょう。いわゆるChatGPTでも同じようにAIに求めるアウトプットを出力させるために誘導する呪文的なものです
②Negative Prompt
逆に、『こういうのはNG』と先に言える場所です。例えば写実的で写真のような画像を出力してほしい場合はここに『Painting』と書いておけば絵画風の画像が出力されることは避けられます。
③Sampling method
簡単に言うと、入力されたPromptに対してどのようなアプローチを取るかの型のようですが、具体的にどのサンプリングメソッドがどういった構図に強いなどの方法論はまだわかっていません。
④Sampling step
画像生成を実行する上でのフィードバック回数のことで、増やせば増やすほど精密な画像になっていきますが、その分時間がかかります。また回数を増やすと過学習的な挙動になるため精密になるものの自分の描かせたかったイラストに近くなるわけではないので注意。デフォルトは20。
⑤Batch count,Batch size
stablediffusionでは、画像に対してバッチという単位を使います。バッチカウントはそのプロンプトで何回画像を生成するか、バッチサイズは何枚作るかです。同じプロンプトで一気に何枚も画像を作りたい方はバッチサイズを増やすことで何枚も作れます。デフォルトは1なので1枚ずつ作成されます。例えば100枚生成したい場合は100とします
⑥Height,Width
生成する画像のサイズです。デフォルトの512×512が最もいい画像が生成できると言われています。サイズを大きくすると生成時間が伸びます
⑦CFG Scale
入力されたプロンプトに対してどれくらい忠実に画像を生成するかの数値です。デフォルトの7.0前後が推奨されています。
⑧Seed
シード値のことで、-1に設定すると毎回ランダムに画像が生成されます。生成がうまくいったときはそのシード値を固定することで同じような構図を再現できます。
絵柄プロンプト(呪文)のコツ
特徴を細かく指定する
まずはシンプルに特徴を指定します。例えば上記の出力例であれば「boy」「cool」「green_hair」「short_hair」みたいな外見的特徴に直結するワードは出力結果に反映されやすいです。
Negative Promptを使う
ネガティブなワードを加えるとイラストのクオリティが上がることがあります。有名なネガティブプロンプトは以下のようなものになります。
(painting by bad-artist-anime:0.9), (painting by bad-artist:0.9), watermark, text, error, blurry, jpeg artifacts, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, artist name, (worst quality, low quality:1.4), bad anatomy
気に入った構図が生成できたら『Seed』を固定して更にPromptを変更する
先程生成した画像の構図がかなりいい感じなのでここで『seed』を固定します。構図はseedで大きく左右されるのでseedを固定してプロンプトを調整して細かい部分を修正することができます。ただ手については何回試してもうまくいかないことが多いです。
使用済みのモデルをそのまま使う
プロンプトを頑張ってチューニングしても理想通りのキャラが出ない場合は
そもそもモデルの質自体が悪いとどうしようもないので以下のリンクのような
モデルの公開サイトからいい感じのモデルを探してそのまま引っ張ってくると
解決することもあるかもしれません
モデルの読み込み方法などは以下参照
関連記事：【Colab】StableDiffusionのLoraを追加学習して特定のアニメキャラを生成する
まとめ
今回は流行りの『Stablediffusion』の使い方と実際のプロンプトについて解説していきました。Stablediffusionではプロンプトを固定すればある程度に似たような画像が生成できるので、誰でもプロ級のイラストを一瞬で生成できてしまいますが、Seedやその他の要素によって微妙にニュアンスが違うなどある程度のガチャ要素もあって楽しいです。では～
コメント