AIイラストでマンガっぽい白黒の画像を描いてもらう

画像生成AI「Stable Diffusion」で、マンガっぽい絵を出せないかな？と思って試行錯誤しています。

結論としては「プロンプトにmonochromeを入れてあとはモデル次第」といったところなのですが、個人的に好きなモデルとLoRAの組み合わせでなかなか良いものができてます。

マンガっぽい画像になるプロンプトを探る

まず、元となる画像を適当に作成しました。モデルはPetitCutieで、プロンプトは以下の通り。

1girl, solo, brown hair, double bun, diagonal bang, mole, blush, school uniform, at street, cowboy shot, (masterpiece:1.2), <lora:LCM_LoRA_Weights_SD15:0.3>

monochromeを入れてみる

プロンプトにmonochromeを入れてみました。若干マンガっぽくなりましたが、単に白黒にしただけ、という気もします。

1girl, solo, brown hair, double bun, diagonal bang, mole, blush, school uniform, at street, cowboy shot, (masterpiece:1.2), (monochrome), <lora:LCM_LoRA_Weights_SD15:0.3>

他のマンガっぽくなりそうなプロンプトも入れてみる

grayscale, halftone, screen tones,というそれっぽくなりそうな単語を入れてみました。それっぽくなったような、あまり変わらないような。

1girl, solo, brown hair, double bun, diagonal bang, mole, blush, school uniform, at street, cowboy shot, (masterpiece:1.2), (monochrome), grayscale, halftone, screen tones, <lora:LCM_LoRA_Weights_SD15:0.3>

髪に色が付いてるのは、brown hairと入れてしまってるからでしょうね。

モデルや出力される絵にも寄るのですが、monochrome, grayscale, halftone, screen tonesこのあたりのプロンプトを組み合わせればそれなりになります。

LoRAを使う

プロンプトはここまでにして、LoRAに頼ってみます。ただ、一気にマンガっぽくするLoRAではなく、いろいろ調整してくれるLoRAを組み合わせます。

どうです？なかなかマンガっぽくなったのではないでしょうか。これは2vXpSwA7さんがhuggingfaceで公開してくれてるLoRAを3つほど入れて調整したものです。

1girl, solo, brown hair, double bun, diagonal bang, mole, blush, school uniform, at street, cowboy shot, (masterpiece:1.2), <lora:nuri-sanDka_01:-1>,<lora:noline:-0.6>,<lora:flat2:0.4>,(monochrome), grayscale, halftone, screen tones, <lora:LCM_LoRA_Weights_SD15:0.3>

あわせて読みたい

2vXpSwA7/iroiro-lora at main We’re on a journey to advance and democratize artificial intelligence through open source and open science.

この中（testフォルダも）にあるsanDka_01、noline、flat2の3つを使いました。

sanDka_01はプラス方向にするとイラストの立体感を上げます。マンガっぽくしたいので逆にマイナスで適用してフラットにしました。

nolineはプラス方向で線がなくなっていきます。これも逆に適用して線のハッキリしたイラストにします。

flat2はマイナス方向にするとディテールが上がるもので、これはプラスに適用してフラットで全体的に細かくしすぎないようにします。

それぞれのウエイトの数値によって線の太さやフラットさを微調整できます。私的には上で使っているようにsanDka_01:-1、noline:-0.6、flat2:0.4くらいがベストです。

1girl, solo, brown hair, double bun, diagonal bang, mole, blush, school uniform, at street, cowboy shot, (masterpiece:1.2), <lora:nuri-sanDka_01:-1>,<lora:noline:-0.6>,<lora:flat2:0.6>,(monochrome), <lora:LCM_LoRA_Weights_SD15:0.3>

flat2の値を増やしてみました。まだ背景がうるさいですかね。まぁ、このあとはもう数値などの微調整ですね。

ただ、まぁ結局はモデルに寄るところがあるので、もともと細かい絵柄なモデルだったり3D寄りのモデルだと効果は無いかもしれません。

サンプルいろいろ

顔の部分が暗くなってしまうとあまりそれっぽくないですね。いろいろ試してみるのが良いです。