【Stable Diffusion】Sampler（Scheduler）及びtorch_dtypeが画像生成に与える影響調査【Diffusers】

StableDiffusionの世界では、さまざまな手法が試されていますが、画風や品質の違いを明確に把握することは難しいものです。

今回は、AI画像生成技術「StableDiffusion」に関する調査結果をもとに、Samplerの変更やパラメータ設定による画風の違いや生成速度の変化について詳しく解説します。

NoCrypt/SomethingV2でSampler別生成イラスト比較
torch_dtypeを指定しないVer
torch_dtypeを指定有無比較
Linaqruf/anything-v3.0で高スケール検証
リアル風モデルでSampler別生成画像の比較

NoCrypt/SomethingV2でSampler別生成イラスト比較

from diffusers import PNDMScheduler 
pipe = StableDiffusionPipeline.from_pretrained(
      input_model,
      use_auth_token=token,
      torch_dtype=torch.float16,
      scheduler=c_scheduler
).to("cuda")

Sampler: PNDMScheduler（9秒）
Sampler: EulerDiscreteScheduler（9秒）
Sampler: DDIMScheduler（9秒）
Sampler: DPMSolverMultistepScheduler（9秒）
Sampler: LMSDiscreteScheduler（9秒）
Sampler: EulerDiscreteScheduler（9秒）

Sampler変更による画風の違いはあまりわからないが、LMSDiscreteSchedulerは崩れやすい

torch_dtypeを指定しないVer

from diffusers import PNDMScheduler 
pipe = StableDiffusionPipeline.from_pretrained(
      input_model,
      use_auth_token=token,
      #torch_dtype=torch.float16,
      scheduler=c_scheduler
).to("cuda")

Sampler: PNDMScheduler（28秒）
Sampler: EulerDiscreteScheduler（28秒）
Sampler: DDIMScheduler（28秒）
Sampler: DPMSolverMultistepScheduler（28秒）
Sampler: LMSDiscreteScheduler（28秒）
Sampler: EulerDiscreteScheduler（28秒）