当サイトにはアフィリエイト広告が含まれます。なおレビューは私の感想を書いており、内容を指示するご依頼はお断りしています

スマホ版Stable Diffusionを使って、口パク動画(GIFアニメ)を作ろう!

今回は、Stable Diffusionを使って、YouTubeでよく見かける口パク動画(まばたき有り)の作成に挑戦してみました!"(ノ*>∀<)ノ

成果物はこんな感じ

クロマキーで動画に組み込みやすいように緑背景で、表情差分も作ってみました✨

スマホ版Stable Diffusionを導入する

こちらの記事の手順にそって、スマホ版StableDiffusion(無料)を導入します

シード値の固定とImg2Imgが出来るツールなら、他でもOKです。

口パク動画用の画像を作る

口パク動画用に、ちびキャライラストを作成します。

プロンプトに「chibi, outline, simple background, white background」を入れると作りやすいです(*ˊ˘ˋ*)

シード値を固定して、プロンプトに「open mouth」を加えて、口開き版のイラストを作ります

お絵描きアプリ「IbisPaint(アイビスペイント)」を使って、2枚を合成して口のみの差分画像を作ります。

ついでに、クロマキーが設定しやすいように背景を緑に塗りつぶしました

まばたき用の画像を作る

次は、まばたき用の画像を作ります。

Img2Imgの読込み用に、お絵描きアプリで目閉じ画像のラフを作ります

Img2Imgで上のラフ画像を読み込ませ、シード値を固定して、プロンプトに「closed eyes」を加えて目閉じ画像を作ります

目だけを反映するように、お絵描きアプリで合成します

これで画像の準備はOKです。

静止動画、口パク動画を作る

作成した画像をGIFメーカーにアップロードして、GIF動画にしていきます。

目を閉じて口パクする

目閉じ口パクは、シンプルに目閉じ口閉じ、目閉じ口開けを交互に繰り返します

目を開けて口パクする

まばたきと口パクに速度の差をつけたいので、口閉じ口開けを2枚ずつ交互に配置します。

この中の1枚だけを目閉じ画像を差し替えると、まばたきっぽくなります

目を開けて静止する

目を開けて口パクの口開け画像をすべて、口閉じに置き換えたら、まばたきのみの静止動画が出来ます。

【スマホOK】StableDiffusionの画像をAIで背景透過する

今回は、StableDiffusionで作成した画像を、rembg(AI)で背景透過する方法を試してみました(ノ*>∀<)ノ

結果はこんな感じ↓↓↓

透過前
透過後

透過プログラムを作成する

「Open In Colab」をタップして、手順に沿って、透過前画像をアップロードして、ファイルパスを入力して、実行すれば透過完了です

ファイルパスの入力は、以下の記事の「ファイルパスの取得方法」と同様の手順で行えます。 スマホで簡単「Stable Diffusion」の使い方【PC不要】 - haruの日常ブログ

AIなので、成功率や精度はまあまあですが

  • 無料
  • クロマキー不要
  • 複雑な背景でもOK
  • 全自動

なので使える場面はあるかもです!!

スマホでも使えるので、ぜひ試してみてください(⋆ᴗ͈ˬᴗ͈)”

【Stable Diffusion】 Img2Img (i2i) における「Strength」の値による影響調査

今回は、以前の記事で作成したスマホ版「Stable Diffusion」を利用して、Img2Img (i2i)で実験してみたいと思います 'ω')ノ

具体的には、Img2Img (i2i)における「Strength」は、生成画像にどのような影響を与えるのか?

というテーマで調査してみたいと思います!

  • Strengthってなに?
  • Strengthはどのくらいの値がいいの?

と思っている方は必見です!!

Strength: 0 ~ 1(お題「黒猫」)

使用モデル: wavymulder/Analog-Diffusion

input_strengthを0.1ずつ増やす(0~1)
入力画像

「input_strength」が0の場合は、入力画像そのもので、1に近付くにつれ元画像から乖離し、AIがプロンプトから解釈した画像が強くなっていくことがわかります。

1にした場合は、完全に入力画像とは構図も異なる画像が生成されるかと思ったのですが、構図等は入力画像に寄せてくれている感じがしますね。

Strength: 0.4 ~ 1.0 (お題「人物」)

使用モデル: Linaqruf/anything-v3.0

input_strengthを0.05ずつ増やす(0.4~1.0)
元画像

0~0.3はほとんど入力画像のままであることが分かったので、0.4以上で試してみました。

このままでは比較しづらいので、細分化します

0.4 ~ 0.5

input_strength: 0.4 ~ 0.5
元画像

0.4~0.5は、元画像の雰囲気がかなり残っていますね。

少しだけAIにいじってほしいけれど、大部分は入力画像を残してほしい!自分の画風を残してほしい!!という時に使えそうです。

0.55 ~ 0.7

input_strength: 0.55 ~ 0.70
元画像

0.55~0.70になると、だいぶAIが修正してくれています。

普段の「Linaqruf/anything-v3.0」では作れない画風になっていて、とても可愛いです(*´ω`*)

ラクガキっぽい、少し雑な雰囲気を作りたい時に使えますね。

個人的には一番お気に入りな範囲です

0.75 ~ 1

input_strength: 0.75 ~ 1.00
元画像

0.75~1.00は、構図は残っているものの、いつもの「Linaqruf/anything-v3.0」という雰囲気です

ポーズなどは大きく変わってもいいけど、キャラの配置は固定したい時に便利そうです。

Text2Imgでは場所指定が出来ないときに、プロンプトの代わりに入力画像を使うといった使い方になりそうです。

スマホ版 Stable Diffusion 新機能実装のお知らせ

今回の実験を通して、Strength: 0.55 ~ 0.7の範囲がとても可愛かったので、

input_strength: 0.55 ~ 0.70
元画像

お気に入りの範囲内で、ランダムにStrengthを選びたいなぁ♡(*´ω`*)

という機能を追加しました!!

MINとMAXをシュッと選択すれば、その範囲内で自動的にランダムなStrengthが選択されます。

そこで、お気に入りのStrengthが見つかったら、「input_strength」に直接入力して、Strengthを固定することも可能です(≧▽≦)♪♪

こちらのリンクから「Open In Colab」ボタンで、簡単にアップデートできるので、ぜひ使ってみてください✨✨

まだharuのStable Diffusionを試したことがないという方は、こちらから作成できますので試していただけたら嬉しいです スマホで簡単「Stable Diffusion」の使い方【PC不要】 - haruの日常ブログ

【Stable Diffusion】驚きの結果!品質系呪文プロンプト・ネガティブプロンプトが画像生成AIに与える影響とは?

今回は、画像生成AI「Stable Diffusion」で生成される画像の品質に対し、プロンプト・ネガティブプロンプトが与える影響について調べていきたいと思います!

具体的には、以下のような画像を生成できるモデル「Linaqruf/anything-v3.0」を使って

  • prompt: red hair, long hair, ahoge, red eyes, gothic fathion, frill, neck ribbon, floating string,floating ribbon
  • negative_prompt: nsfw, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, retro style cropped, signature, watermark, username, artist name
  • model: Linaqruf/anything-v3.0
  • scale: 11

scaleとmodelは固定したまま、promptに品質呪文を加えたり、negative_promptを減らしたり増やしたりしながら、どのように画像が変わるのかを見ていきます。

長くなりますが、それではさっそく見ていきましょう(・ω・)/

実験1. ネガティブプロンプトを無しにして、ポジティブプロンプトでクオリティを操作する

クオリティを示す英語を50段階で列挙してください

【chatGPT】以下に、クオリティを示す英語を50段階で列挙します。

poor

low

Inferior

Below average

Substandard

Unsatisfactory

Mediocre

Average

Fair

Acceptable

Adequate

Passable

Satisfactory

Decent

Good enough

Competent

Solid

Reliable

Trustworthy

Dependable

Above average

High

Excellent

Exceptional

Outstanding

Superb

Marvelous

Wonderful

Splendid

Spectacular

Impressive

Remarkable

Striking

Memorable

Unforgettable

Phenomenal

……いま37個目だけど、全部一緒っぽい(゜-゜)

ネガティブプロンプトの指定が無いせいかな?それとも、qualityって追加してないからかな??

実験2. ネガティブプロンプトを無しにして、ポジティブプロンプトで「○○ quality」という形式でクオリティを操作する

【chatGPT】以下に、クオリティを示す英語を「○○ quality」という形式で10段階にして列挙します。

Poor quality

Low quality

Inferior quality

Average quality

Acceptable quality

Satisfactory quality

Good quality

High quality

Excellent quality

Superior quality

低品質プロンプトを入れたからと言っても、低品質になるわけでもないし、高品質プロンプトを入れたからと言っても、高品質になるわけではなさそう。

実験3. ネガティブプロンプトを加えて、実験2と同じパターンを検証する

negative_prompt: bad face, bad fingers, bad anatomy, missing fingers, low res, retro style cropped, signature, watermark, username, artist name

Poor quality

Low quality

Inferior quality

Average quality

Acceptable quality

Satisfactory quality

Good quality

High quality

Excellent quality

Superior quality

ネガティブプロンプトを加えると、どの「○○ quality」をポジティブプロンプトを入れても関係なく、綺麗なイラストが生成される。

品質への影響は、ポジティブプロンプトの影響よりも、ネガティブプロンプトの影響の方が圧倒的に大きい

実験4. ネガティブプロンプトを少しずつ減らし、影響度の高いネガティブプロンプトを調査する

negative_prompt: bad face, bad fingers, bad anatomy, missing fingers, low res, retro style cropped, signature, watermark, username, artist name

の要素を1個ずつ削除してみます

「bad face」を削除

「bad face, bad anatomy」を削除

「bad face, bad anatomy, low res」を削除

「bad face, bad anatomy, low res, retro style」を削除

「bad face, bad anatomy, low res, retro style, watermark」を削除

「bad face, bad anatomy, low res, retro style, watermark, cropped」を削除

「bad face, bad anatomy, low res, retro style, watermark, cropped, bad fingers, missing fingers,」を削除

「bad face, bad anatomy, low res, retro style, watermark, cropped, bad fingers, missing fingers, signature, username, artist name」を削除

「bad anatomy」を無くすと、体などのバランスがおかしくなり始める

「retro style」を無くすと、色や作画が昭和っぽくなる

「watermark」を無くすと、画質が悪くなる

ということがわかった。

これらのネガティブプロンプトは、生成画像の品質に大きく影響するため、自分が作りたいイラストの雰囲気に合わせて正しく使い分けたい。

実験結果まとめ

  • ネガティブプロンプトが何も指定されていない場合、ポジティブプロンプトに高品質呪文を入れても、高品質なイラストが生成されにくい
  • ネガティブプロンプトが画像品質に与える影響は、ポジティブプロンプトの影響よりも圧倒的に大きい
  • ネガティブプロンプトの中でも、特に影響度が大きいのは「bad anatomy」「retro style」「watermark」

【えもふり】AIイラストで作る自分だけのVtuber!StableDiffusionで立ち絵を作成

今回は、AIイラストツール「Stable Diffusion」と、イラストを動かす無料ソフト「えもふり」使って、絵が書けなくてもVtuberを作れるのか!?を検証してみたいと思いますヽ(´▽`)ノ

「えもふり」とは?

「えもふり」とは、E-mote Free Movie Makerの略で2Dキャラクターを動かすための無料ツールです。

WebGL、ティラノスクリプト、Unityなどに対応しています。

Live2Dに近いイメージですね(*ˊ˘ˋ*)

キャラクター画像をパーツごとにレイヤー分けして、レイヤーを個別に動かすことで、キャラクターを動かすといった仕組みです。

詳しくは公式サイトをご覧下さい(ˆ꜆ . ̫ . )꜆

今回はこのキャラクターを動かすツール「えもふり」とAIイラストを使って、簡単にVtuberになれるのでは!?という試みです。

「StableDiffusion」で立ち絵を作る

まずは、元となるイラストが必要なので、AIイラストツール「StableDiffusion」に立ち絵を描いてもらいます。

以下で導入したプログラムを、今回も使い回していますヽ(´▽`)ノ スマホで簡単「Stable Diffusion」の使い方【PC不要】 - haruの日常ブログ

プロンプト(呪文)を入力して、イラストを生成します。立ち絵にしたいので、背景をシンプルに、極力全身を写すようにしています。

プロンプトは以下の通り

full body,fullbody,1girl,gothic lolita,red hair,long hair,red eyes,gothic dress,smile,simple background,celtic hair ornaments,ahoge,white background,large breasts,long skirt,black frill,bare shoulder,black chinese dress,red long skirt,wide sleeves,floating sleeves,hair bun,open mouth

中華ゴシックな女の子が出来ました(>∀<)۶かわいいです💕

この絵からLive2Dのような動くアバターができるんですね。楽しみです(´。✪ω✪。 ` )

えもふり用にイラストを加工する

えもふりのチュートリアルによると、PSDファイルを作成し、複数のレイヤーに分けていく必要があるようです。

こんな感じの作業↓

必要レイヤーは以下の通りで、1枚の絵を17枚に分解する必要があります(半日以上かかりました💦

  • マブタ通常
  • 瞳通常
  • 白目通常
  • マブタ閉じ
  • クチ
  • クチ開き
  • 輪郭
  • 前髪
  • 後髪
  • 胴体
  • トリミング枠
  • 首中心
  • 腰中心
  • 原点

もう二度とやりたくないと思えるくらい、つらい重労働でした╭( ✖_✖ )╮

えもふりでイラストを動かしてみる

この重労働を終えて、えもふりに取り込んで「ついにVtuberデビューだ!」と思ったところ…

  • 口パクが音声連動しない
  • カメラの首の向きが連動しない
  • 顔がすぐ崩れる(目が輪郭の外に飛び出す)
  • 出力が動画形式
  • 動画が透過されていない

など、えもふりには様々な制約があり、Vtuberデビューを果たすのは無理そうでした(;_;)

半日かかって音声連動なしの口パク動画だけって、なかなかめげますね( ˊᵕˋ ;)

【Stable Diffusion】最新AIでアニメ風背景画像を生成!特徴を徹底解説

今回はStable Diffusionの、アニメ風の背景画像生成についてご紹介します。

最近では、AIによる画像生成が注目されており、アニメ風の背景画像を生成することも可能になってきました。

この記事では、アニメ風の背景画像が生成できるモデルをいくつか紹介し、生成される画像の特徴についても解説していきますヽ(´▽`)ノ

アニメ風の背景画像が生成できるモデル

Korakoe/OpenNiji

Korakoe/OpenNijiは、アニメ風の二次元イラストに特化したモデルです。

このモデルは、人間無しで背景のみのイラストを描くのも問題なく行えます。

book shelf,light particles,lens flare
scale: 8

イケメンも生成できるので個人的にはかなり重宝しています。 「Stable Diffusion」を利用した美少年イラスト生成モデル一覧を紹介 - haruの日常ブログ

Nilaier/Waifu-Diffusers

Nilaier/Waifu-Diffusersは、11万件のアニメ風の画像を学習したモデルです。

こちらも問題なく背景イラストを生成できます。 book shelf,light particles,lens flare
scale: 8

Korakoe/OpenNijiよりも濃い色合いですね。

andite/anything-v4.0

bookshelf,light particles,lens flare
scale: 8

イケメンも美女も生成できて、背景も作れるので汎用性の高い良いモデルだと思います。 「Stable Diffusion」を利用した美少女イラスト生成モデル一覧 - haruの日常ブログ

アニメ風背景画像の生成は苦手そうなモデル

CompVis/stable-diffusion-v1-4

CompVis/stable-diffusion-v1-4は、写真風の画像生成に特化したモデルです。

その影響か、本来光が発生しない場所で光らせようとすると、何とも言えない感じに💦

bookshelf,light particles,lens flare
scale: 8

runwayml/stable-diffusion-v1-5

runwayml/stable-diffusion-v1-5は、写真風の画像生成に特化したモデルです。

bookshelf,light particles,lens flare
scale: 8

思い描いていた「光が差し込む本棚」よりも眩しいですが、写真とイラストの中間としては結構高品質かと思います。ホラー系とかに使えそうですね。

wavymulder/portraitplus

wavymulder/portraitplusはポートレート(肩から上の構図)に特化したモデルです。

なので当然なのですが、背景にはあまり適さないようです。 bookshelf,light particles,lens flare
scale: 8

prompthero/openjourney

概要を見ている限りだと、アニメイラストも出来そうなんだけどなぁ…(゜-゜) book shelf,light particles,lens flare
scale: 8

Include 'mdjrny-v4 style' in prompt

「mdjrny-v4 style」をプロンプトに加える必要があるようです。もう一度やってみましょう\( 'ω')/

mdjrny-v4 style,bookshelf,light particles,lens flare
scale: 8

うーん。本棚は出来ないっぽいですね。生成できる背景画像は限られていそうです。

背景画像が絶対生成できないモデル

lambdalabs/sd-pokemon-diffusers

lambdalabs/sd-pokemon-diffusersは、ポケモンキャラクターの画像生成に特化したモデルですので、背景画像を生成することはできません。 book shelf,light particles,lens flare
scale: 8

どんなプロンプトを入れてもポケモンにしようとするこのモデルは本当に面白いですね。

そこまでポケモンを貫くか…!!って尊敬に値します。


今回はStable Diffusionのアニメ風の背景画像生成について紹介しました。

アニメ風の背景画像生成に興味がある方は、ぜひ参考にしてみてください(。ᵕᴗᵕ。)

Stable Diffusionの「guidance_scale」が生成する画像に与える影響を徹底比較!

Stable Diffusionにおいて、「guidance_scale」というパラメーターが画像生成にどのような影響を与えるのか、興味がある方も多いのではないでしょうか?

そこで、今回は「Korakoe/OpenNiji」というモデルを使用して、数値を変化させながら生成される画像の違いを比較してみました(∩´∀`)∩

guidance_scale: 0~9

0 1 2 3 4 5 6 7 8

guidance_scale: 10~19

10 11 12 13 14 15 16 17 18 19

guidance_scale: 20~29

20 21 22 23 24 25 26 27 28 29

guidance_scale: 30~39

30 31 32 33 34 35 36 37 38 39


今回は、Stable Diffusionにおける「guidance_scale」の数値が生成画像に与える影響について、興味深い実験をご紹介しました!

モデルは「Korakoe/OpenNiji」を使用し、数値を変化させながら生成される画像の違いを比較しました。

その結果、パラメーターの変化によって生成される画像に大きな違いが生じることがわかりました。✨

今後も、Stable Diffusionに関する様々な実験を行って、より深く理解を深めていきたいと思います。皆さんもぜひ、この魅力的な技術に興味を持って、自分なりの実験を行ってみてはいかがでしょうか?

「Stable Diffusion」を利用した美少年・男性イラスト生成モデル一覧を紹介

最近、AIによる画像生成技術が注目を集めています。その中でも「Stable Diffusion」という手法が注目されています。

本記事では「Stable Diffusion」を利用したモデルの一覧として「diffusers」で使用出来るモデルを使って美少年生成を行い、結果を比較してみました。

アニメ風の美少年イラストが得意なモデル

Nilaier/Waifu-Diffusers

prompt: boy,red hair,red eyes, black shirts, red necktie,black pants,light particles,lens flare, window, furniture, curtains
negative_prompt: flat shading,flat color,nsfw, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, retro style cropped, signature, watermark, username, artist name
model: Nilaier/Waifu-Diffusers
scale: 8
seed: 3260271992

Nilaier/Waifu-Diffusersは、11万件のアニメイラストを学習させたモデルで、美少年イラストの生成も得意としています。

雰囲気は後述の「Linaqruf/anything-v3.0」によく似ていますね。

アニメ学習用のテンプレイラスト集でもあるの(。・ω・)?

Linaqruf/anything-v3.0 Linaqruf/anything-v3.0は、アニメ風の美少年イラストの生成が得意なモデルです。

ネガティブプロンプトの入力が不要で、男子であることがわかるプロンプトさえあればOKです。

また、NSFWのイラストが生成されることが少なく、やり直しが少ないため、安心して利用できます。

性別問わず優秀なモデルであるため、幅広いニーズに対応できます。

Linaqruf/hitokomoru-diffusion Linaqruf/hitokomoru-diffusionは、アニメ風の美少年イラストの生成が可能なモデルです。

基本的には美少女に特化したモデルですが、girlやlong hairなどの女子要素をネガティブプロンプトに入れることで、美少年イラストを生成することができます。

性別問わず優秀なモデルであり、幅広い用途に対応できます。

andite/anything-v4.0 andite/anything-v4.0は、アニメ風の美少年イラストの生成が可能なモデルです。 基本的には美少女に特化したモデルですが、girlやlong hairなどの女子要素をネガティブプロンプトに入れることで、美少年イラストを生成することができます。

性別問わず優秀なモデルであり、幅広い用途に対応できます。

また、彩度は低めのため、落ち着いた雰囲気のイラストを生成することができます。

eimiss/EimisAnimeDiffusion_1.0v

eimiss/EimisAnimeDiffusion_1.0vは、アニメ風の美少年イラストの生成が可能なモデルです。

基本的には美少女に特化したモデルですが、girlやlong hairなどの女子要素をネガティブプロンプトに入れることで、美少年イラストを生成することができます。

性別問わず優秀なモデルであり、幅広い用途に対応できます。

また、彩度は高めのため、鮮やかでポップな雰囲気のイラストを生成することができます。

andite/pastel-mix

andite/pastel-mixは、アニメ風の美少年イラストの生成が可能なモデルです。

NovelAIの低scaleイラストのような崩壊的で幻想的な細かいイラストを生成することができます。

DucHaiten/beta-test

DucHaiten/beta-testは、リアルとアニメの中間のような美少年イラストを生成することができるモデルです。

ネガティブプロンプトの指定は不要で、boyやHeなど、男子であることがわかるプロンプトがあればOKです。

彩度は低めのため、落ち着いた雰囲気のイラストを生成することができます。

Korakoe/OpenNiji

Korakoe/OpenNijiは、美少年のイラストを自動生成することができます。

NijiJourneyなどのようなキラキラと輝いた目が特徴的なイラストを作成することができます。

ネガティブプロンプトは不要ですが、NSFWなイラストが生成され手やり直しになることが多いので、ループ処理などでやり直しを行うことができると良いでしょう。

リアルな少年イラストが得意なモデル

以下のモデルは、写真のようなリアルな美少年イラストを生成することができます。

ネガティブプロンプトの指定は不要で、描きたいイメージに沿ってプロンプトを作成すればOKです。

DucHaiten/DucHaitenDarkside

SG161222/Realistic_Vision_V1.4

少年イラスト生成可能で、独特な魅力があるモデル

yehiaserag/anime-pencil-diffusion yehiaserag/anime-pencil-diffusionは、手書き風のアニメイラストを自動生成することができます。

アナログイラストの味わいが好きな人にとっては、鉛筆などで描かれた風合いがとても魅力的です。

プロンプトには、「anime pencil concept style」を含める必要がありますが、ネガティブなプロンプトは必要ありません。

また、注意すべき点として、このモデルは写真のようなリアルなイラストも生成することがあります。

DucHaiten/DH_ClassicAnime

DucHaiten/DH_ClassicAnimeは、3Dアニメのような少年イラストを生成することができるモデルです。

ネガティブプロンプトの指定は不要で、boyやHeなど、男子であることがわかるプロンプトがあればOKです。

アメリカンなイラストを描きたい場合に特に向いています。

smokeweed/Gerph

smokeweed/GerphはGerph先生の作品を集めて訓練されており、その特徴的な画風を再現することができます。Gerph先生の作品を知らない方は、pixivなどで作品をチェックしてください。


以上、Stable Diffusionを利用した美少年イラスト生成モデルの紹介でした。これらのモデルは、今後のイラスト制作に大きな貢献をすることでしょう✨

美少女モデル生成モデルの紹介もありますので、ぜひご覧ください! 「Stable Diffusion」を利用した美少女イラスト生成モデル一覧 - haruの日常ブログ

「Stable Diffusion」を利用した美少女・女性イラスト生成モデル一覧

最近、深層学習による画像生成技術が注目を集めています。その中でも「Stable Diffusion」という手法が注目されています。

本記事では「Stable Diffusion」を利用したモデルの一覧として「diffusers」で使用出来るモデルを使って美少女生成を行い、結果を比較してみました。

アニメ風の美少女イラストが得意なモデル

NoCrypt/SomethingV2

NP: nsfw, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, retro style cropped, signature, watermark, username, artist name

NP: EasyNegative

iZELX1/Anything-V3-X

sinkinai/hassaku-hentai

Korakoe/OpenNiji Korakoe/OpenNijiは、日本のアニメイラストに特化した「Nijijourney」のイラストを学習させたモデルです。NijiJourneyを契約しようと思うと月額4500円ほどかかるので、これを無料で使えるのは便利ですね。

参考までにNijiJourneyで使用できるプロンプトを載せておきます↓ nijijourney呪文まとめ -すべての呪文・プロンプト - haruの雑記ブログ

andite/anything-v4.0

andite/anything-v4.0は、安定して美少女の画像を生成することができます。また、生成される画像の彩度は低めに設定されています。

Linaqruf/hitokomoru-diffusion

Linaqruf/hitokomoru-diffusionは、安定して美少女の画像を生成することができます。生成される画像には、透明感や病み感といった特徴があり、不気味さを感じさせる独特な魅力があります。

Linaqruf/anything-v3.0

Linaqruf/anything-v3.0は、安定して美少女の画像を生成することができます。生成される画像には、彩度が高く、明度も高い特徴があります。

美しい色彩の中で描かれた美少女たちは、鮮やかで華やかな印象を与えます。

tashachan28/ranma_diffusion

tashachan28/ranma_diffusionは、現代的な美しいイラストが得意なLinaqruf/anything-v3.0から派生したモデルです。

そのためtashachan28/ranma_diffusionは、 Linaqruf/anything-v3.0が描けるイラストは全体的に生成可能です。

tashachan28/ranma_diffusionの特徴的な点は、上記に加え「らんま1/2」などの80年代アニメの学習が強化されている点です。

「80sanimestyle,retro style,flat color」を含めればレトロに、含めなければ現代的に。

画風の使い分けができる便利なモデルと言えるでしょう(・∀・)イイネ!!

eimiss/EimisAnimeDiffusion_1.0v

eimiss/EimisAnimeDiffusion_1.0vは、安定して美少女の画像を生成することができます。生成される画像には、彩度が高く、明度も高い特徴があり、よりハッキリとした画像を作成することができます。

andite/pastel-mix andite/pastel-mixは、パステル調のイラストを中心に、アニメ風の美少女の生成を得意としたモデルです。

3D・リアル風の美少女イラストが得意なモデル

robotjung/SemiRealMix

robotjung/SemiRealMixは、リアル風なイラストが得意なモデルです。 「extremely detailed skin, ultra detailed beautiful eyes」などと相性が良いです

Lykon/NeverEnding-Dream

robotjung/SemiRealMixは、3D風なイラストが得意なモデルです。 「ultra detailed beautiful eyes」などと相性が良いです

リアル調なイラストが得意なモデル

prompthero/openjourney

prompthero/openjourneyは、ドール風のイラストを生成することができます。アニメ風のイラストの生成は苦手ですが、ドールイラストのクオリティは非常に高く、リアルな人形のような仕上がりを実現しています。

dreamlike-art/dreamlike-photoreal-2.0

dreamlike-art/dreamlike-photoreal-2.0は、写真のようなリアルなイラストを安定して生成することができます。アニメのようなイラストの生成は苦手ですが、リアルな質感や表情を持ったイラストを作成することができます。

wavymulder/Analog-Diffusion

wavymulder/Analog-Diffusionも、写真のようなリアルなイラストを安定して生成することができます。アニメのようなイラストの生成は苦手ですが、リアルな質感や表情を持ったイラストを作成することができます。

nitrosocke/redshift-diffusion

nitrosocke/redshift-diffusionは、ドール風のイラストを安定して生成することができます。アニメ風のイラストの生成は苦手ですが、ドールイラストのクオリティは非常に高く、リアルな人形のような仕上がりを実現しています。

ユニークな魅力があるモデル

lambdalabs/sd-pokemon-diffusers

lambdalabs/sd-pokemon-diffusersは、ポケモン風のモンスターの画像を生成することができます。人間や風景描写に特化したモデルが多い中、このモデルは独特な魅力を持っています。

MyneFactory/MF-KonoSuba prompt: girl

MyneFactory/MF-KonoSubaは、「この素晴らしい世界に祝福を!」の画像を学習させたモデルです。その登場人物や作画を再現するのが得意です。

prompt: masterpiece, best quality,1girl,red hair,messy hair,long hair,red eyes,maid headdress,maid apron,black shirts,red ascot,large breasts,ahoge,shiny red eyes,shiny hair,hands up

このすば以外のキャラクターを入力すると、上のイラストのような雰囲気になります。

その他のモデル

prompthero/openjourney-v2

naclbit/trinart_stable_diffusion_v2

nitrosocke/Nitro-Diffusion


以上、Stable Diffusionを利用した美少女イラスト生成モデルの紹介でした。

美少年モデル生成モデルの紹介もありますので、ぜひご覧ください! 「Stable Diffusion」を利用した美少年・男性イラスト生成モデル一覧を紹介 - haruの雑記ブログ

今回紹介したもの以外にも多くのモデルが出ているので、公式サイトもぜひ見てみてください↓

スマホで簡単「Stable Diffusion」の使い方【PC不要】

今回は、超高性能なAI画像生成ツール「Stable Diffusion」を、スマホでも簡単に使えるように実装してみました٩( ´ω` )و

  • Text2Img、Img2Img どちらも対応
  • モデル選択も超簡単
  • ネガティププロンプトも設定可能
  • シード値の固定もできちゃう!
  • 複数枚一括生成も可能
  • プロンプト実行履歴も画像付きで残せる
  • 自動ランダム呪文、ランダムモデルも楽しめる

と無料ツールでできるとは思えないほどに、機能盛りだくさんに作ったので、ぜひぜひ使ってみてくださいヽ(´▽`)ノ

GPU最強、メモリ最強のパワフルなコンピューターが無くても、超絶綺麗な画像生成がスマホでも簡単にできちゃいますよー✨✨

では、作っていきましょう!

Stable Diffusion用のアカウントを作成

StableDiffusionを使用するには、hugging faceのアカウントが必要になるので、hugging face公式サイトからアカウントを作成します。

メールアドレスを入力して、記号ありの12文字以上のパスワードを入力したら次へ

名前など必要情報を入力して、「create account」をタップ。

すると以下のような画面になります。

入力したメールアドレスに、hugging faceから確認メールが届いているので、URLを開いて確認を完了させます

確認完了後の画面が以下です

右上のメニューを開き、「Setting」ボタンをタップします

「Access Token」をタップします

「New Token」ボタンをタップします

トークン名は適当に、権限は「read」にして「Generate a token」をタップします

これでStable Diffusionの利用に必要なアカウント、トークンの発行が完了です。

あとでこのトークンを利用しますので、このページの開き方を忘れないようにしてください

GyazoAPIトークンを取得

Gyazo公式サイトを開き、Gyazoのアカウント(無料版)を作成する。すでにアカウントがある場合は不要

こちらのページを開き、「New Application」をタップする

「Name」「Callback URL」を適当に入力する

すると、以下のような画面になるので、「Your access token」の下の「Generate」をタップ

アクセストークンが発行されるので、後ほど使用する

実行プログラムを作成

以下から「Open In Colab」をタップし、利用手順に沿って導入を進めてください

【2023-03-23更新】

以下のように画像が作成されたら成功です(๑•̀ㅁ•́ฅ✨

スマホ版StableDiffusionの使い方

テキストからイラストを生成(Text2Img)

  • generate_typeを「Text2Img」に設定する
  • promptに作りたい画像の呪文を入力
  • プログラムを実行する

イラストからイラストを生成(Img2Img)

  • generate_typeを「Img2Img」に変更する
  • 元となる画像をアップロードする
  • 元画像のファイルパスを取得して、input_imageに入力する
  • 作成したい画像の呪文をpromptに入力する
  • プログラムの各処理を実行する

ファイルパスの取得方法

Img2Imgで使用したい画像をアップロード アップロードした画像のメニューを開き パスをコピーして input_imageに貼り付け

モデルを変更する

  • ランタイム > ランタイムを削除を実行する
  • modelの値を変更する
  • 各プログラムの処理を実行する

モデル例

シード値を固定する

  • Text2Imgか、Img2Imgで画像を生成する
  • 生成画像の上部に「seed: 1234567890」のように数値が表示されるのでコピーする
  • コピーした値をseedに貼り付ける

プロンプト等のログを保存する

  • gyazoAPIを取得する
  • 取得したgyazoAPIトークンをgyazo_tokenに入力する
  • save_flagを「保存する」にする
  • save_targetに保存したい画像が何枚目か入力する
  • 各種プログラムを実行する
  • google driveへのアクセス権限を求められるので2回とも許可する

スマホ版Stable Diffusionの変更ログ

  • 2023-03-23
    • Img2Img用のinput_strengthが2回目以降の実行で固定化されてしまう不具合を修正しました
  • 2023-03-20
    • Img2Img用のinput_strengthを範囲選択できるようになりました
    • Img2Imgで入力画像をwidthに合わせて、アスペクト比を維持してリサイズするようにしました
  • 2023-03-19
    • 生成画像のログに画像が表示されるように修正しました
  • 2023-03-18
    • 生成画像のログを残す機能が追加されました
    • 説明文が改善されました
    • シード値やプロンプトが実行結果に出力されるようになりました
  • 2023-03-17
    • 説明書付き
    • ランダムプロンプトに対応しました
    • ランダムモデルに対応しました
    • 作成した画像のシード値が確認できます
    • シード値固定に対応しました
    • 生成画像がわかりやすく表示されます

今回は超高性能なAI画像生成ツール「Stable Diffusion」を無料でスマホ実装する方法をご紹介しました。

GPU最強でもなく、メモリ最強でもなく、誰でも簡単に使える方法で、超絶美麗な画像を生成することができます。

是非、実際に試してみてくださいね( ´ ▽ ` )ノ

Stable Diffusion 呪文・プロンプトまとめ

Stable Diffusion用の呪文・プロンプト

style: 画風

  • anime style アニメ風
  • super fine illustration とても良い絵
  • an extremely cute and beautiful girl 可愛くて美しい女子
  • highly detailed beautiful face and eyes 詳細で美しい顔と目
  • beautiful hair 美しい髪
  • chalk painting チョークの絵
  • watercolor 水彩
  • line art 線画
  • vector art ベクターアート
  • chibi ちびキャラ
  • flat color ベタ塗り
  • monochrome 白黒
  • retro style レトロな
  • 80sanimestyle 80年代~90年代風

lighting: 光

  • lens flare レンズフレア
  • light particles パーティクル
  • cinematic shadow 映画のような影
  • sunbeam 太陽光
  • spot light スポットライト

background: 背景

  • white background 白背景
  • flat background 平面的な背景
  • confetti 紙吹雪
  • fluttering petals 花びらが舞う
  • rose background 薔薇の背景
  • desk 机
  • computer コンピュータ
  • flame background 炎
  • window 窓
  • snowflakes 雪の結晶
  • building 建物
  • school building 学校
  • sunbeam,lens flare,blue sky background 輝く青空
  • ultra detailed background,starry sky,beautiful night sky,star 星空
  • beautiful fog 霧・もや
  • stained glass ステンドグラス
  • shining butterfly 光る蝶
  • live stage ライブステージ

Stable Diffusionの「guidance_scale」が生成する画像に与える影響を徹底比較! - haruの雑記ブログ

angle: アングル

  • cowboy shot 太ももから上
  • from above 上からのアングル
  • from bellow 下からのアングル
  • dutch angle 斜めからのアングル

human: 人物

pose: ポーズ

  • look at viewer カメラ目線
  • looking back 振り返る
  • looking up 見上げる
  • smile 笑顔
  • grin 歯を見せてニヤリ
  • happy 幸せそうな
  • nose blush 頬が赤い
  • open mouth 口を開ける
  • sitting on chair 椅子に座る
  • holding smartphone スマホを持つ
  • drinking 飲む
  • holding cocktail カクテルを持つ
  • flame dancing 炎の舞
  • red guitar 赤いギターを持つ
  • reaching out 手を伸ばす
  • sitting on bench in a park 公園のベンチに座る
  • holding guitar,ultra detailed beautiful guitar,holding guitar pick,action,dynamic angle,playing guitar ギターを演奏する
  • gentle smile 優しい笑み
  • hand 手が映る
  • dancing ダンス

hairstyle: 髪型

  • red hair 赤髪
  • pink hair ピンクの髪
  • blue hair 青髪
  • white hair 白髪
  • aqua hair 水色の髪
  • straight hair ストレートヘアー
  • wavy hair ウェーブした髪
  • curly hair カールした髪型
  • hair on chest 胸に髪がかかる
  • swept bangs,parted pangs 横に流した七三分けの前髪
  • forehead おでこが見える髪型
  • twin tail ツインテール
  • bob cut ボブ
  • long hair 長い髪
  • short hair 短髪
  • ahoge アホ毛
  • messy hair ぼさぼさな髪
  • rose hair 薔薇の髪
  • black hair, red streaked hair 黒髪赤メッシュ
  • silver hair, luminous iridescent glowing hair オーロラに輝く銀髪

eyes: 目

  • red eyes 赤い目
  • blue eyes 青い目
  • aqua eyes 水色の目
  • sharp eyes 鋭い目
  • round eyes 丸い目
  • closed eyes 目を閉じる
  • jitome, sorrowful eyes 愁いを帯びたジト目
  • heterochromia,Odd-eyed with purple and green 紫と緑のオッドアイ
  • white pupils 白い瞳孔
  • nook 目の下のくま
  • amimia 無表情

fashion: 服装

  • gothic ゴシック
  • steampunk スチームパンク
  • punk パンク
  • beautiful detailed long maid dress with many frill 詳細に描かれたメイド服(たくさんフリルがついている)
  • maid apron メイドのエプロン
  • maid headdress メイドのヘッドドレス
  • red ascot 赤いアスコット
  • black long sleeves 黒い長袖
  • angel wings 天使の羽
  • school uniform 制服
  • Japanese clothes 和服
  • business suit スーツ
  • school uniform 制服
  • black sleeves 黒い袖
  • bow 蝶ネクタイや制服のリボン
  • necktie ネクタイ
  • cleavage 谷間
  • large breasts 大きな胸
  • flower on hair 花の髪飾り
  • gothic shirts,punk rock,chain 鎖付きのパンクロックなシャツ
  • beret,flower on head,ribbon on beret リボン付きベレー帽と花の髪飾り
  • off shoulder 肩出し
  • shorts ショートパンツ
  • bikini ビキニ
  • evil wings 悪魔の羽
  • red striped dress 赤いボーダー柄のワンピース
  • thighhighs ニーソ
  • beige cardigan ベージュのカーディガン

other: その他

  • monster モンスター
  • slime スライム
  • creature モンスター
  • creature god 神モンスター
  • creature cat 猫モンスター
  • trading card, card frame カードフレーム

character: 版権キャラクター

  • hatsune miku 初音ミク
  • kagamine rin 鏡音リン
  • rem レム(リゼロ)

animation,game アニメ、ゲーム

  • granblue fantasy グラブル

Stable Diffusion用のネガティブプロンプト

quality: 品質

  • poor quality
  • bad face
  • bad fingers
  • bad anatomy
  • missing fingers
  • low res

style: 画風

  • 3D #立体的な
  • flat color
  • flat shading
  • retro style

gender: 性別

  • girl 少女
  • long hair 長髪

other: その他

  • nsfw # アダルトな
  • cropped
  • signature # サイン
  • watermark # 透かし文字
  • username
  • artist name
  • text

呪文・プロンプト組合せ例

prompt: {{white background,white flat color,japonica}},final fantasy illustration,iridescent powder light,aqua lily,red japonica camellia,gradient flower,1girl,loli,white hair,branch,gochiusa,red illustration,monochrome, {{acrylic paint (medium)}}, clump,floating hair,short hair

negative_prompt: nsfw, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, retro style cropped, signature, watermark, username, artist name

model: Linaqruf/anything-v3.0

scale: 8

prompt: {{{{{{thick outline}}}}}},{{{black outline}}},{{masterpiece}}, {{{watercolor (medium)}}},{{{{{sharp lighting}}}}}},{{cinematic light,bloom light, light particles,1girl,solo,black beret,rose on beret, ribbon on beret}},wavy hair,pink beige hair,black skirt,green eyes,hime cut,flower,rose, Dahlia, Camellia,white background, side braid, white ribbon,medium hair,{{{flower background}}},shiny hair,shint skin,shiny clothes,shiny eyes,fluttering petals,red skin,{{light green shirts}},frilled shirts,{black cardigan},open cardigan, lolita fashion, corsage on cardigan ,light green skirt,{{hollow eyes}}

negative_prompt: nsfw, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, retro style cropped, signature, watermark, username, artist name

model: Linaqruf/anything-v3.0

scale: 8

ultra detailed, highres, best quality,watercolor (medium), {{steampunk}}, young,messenger bag, messenger,1boy,child,solo,dark green blue hair,chaos color cap(red cap,black cap), {{center parted bangs}}, visor,chaos color cape(dark red cape,gold line),green vest,hand on head,black jacket, open jacket,{{{{long sideburns}}}},,dynamic angle,black pants,gold belt, long jacket,red necktie,dark blue boots,{{{postbox (outgoing mail)}}}, letter,gradient background, snowflakes, flying,{{{{solid circle eyes}}}},{{{whipped cwhip, chaos color cream, whipped cream on postbox (outgoing mail)}}},cool, eye reflection, [evil smile], wide mouth,wind, children's book,Grinning,strawberry ice cream,cap ornaments,strawberry source, white gloves, floating hair, postbox (outgoing mail),

line art,flat color,white illustration,monochrome,pastel color,watercolor,boy,,one eye covered,,pink eyes,,beret,flower on head,ribbon on beret,off shoulder,kimono,japanese closes,,,seiza,sitting,dynamic angle, colorful flower,sunflower,lily,rose,leaf,branch,red string,blue string,blue rose,anemone,white flower,white background, hydrangea,flat background,watercolor background

,white hair,swept hair,,,smile,,black frill dress,bare legs,shining butterfly,fantasy,fluttering petals,,running,,,rabbit ears,,

prompt: best quality,jitome,white hair, sorrowful eyes ,heterochromia,Odd-eyed with purple and green,white clothes,frill,twin tail,white ribbon,white strings,frill skirt,white blouses,long sleeves,harness belt,under boob belt,sitting on floor,messy hair,wariza,wavy hair,gray background,small breasts,red neck ribbon,flat chest,gray triangle,marble floor,broken glass,granblue fantasy

negative_prompt: sailors,boy,bow,bare breasts,straight cut bangs,angry,large breasts,nose blush,purple clothes,off shoulder,apron,vest,nsfw, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, retro style cropped, signature, watermark, username, artist name

model: Linaqruf/anything-v3.0

scale: 11

seed: 8215800806

prompt: best quality,{{{{{child,loli}}}},lace panty,white panty,under boob,ribbon,spread legs,off shoulder,cleavage,sitting,silver hair,shining blue eyes,eye reflection,shiny eyelashes,large breasts,from below,luminous iridescent powder light ,Europe, Eiffel Tower ,hatsune miku,ahoge,hands up,cobblestone,long hair,floating hair,cat ears,snowflakes,nose blush,red muffler,winter,light particles,lens flare,white knitted sweater,red skirt,shiny eyes,shiny hair,large breasts,beautiful hands,lolita fashion,layered skirt,pink light particles,ultra detailed beautiful legs,white socks,action,wind

negative_prompt: nsfw, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, retro style cropped, signature, watermark, username, artist name

model: Linaqruf/anything-v3.0

scale: 8

shining white hair,shining blue eyes,gradient shiny hair,sailors,wavy hair,braid bangs,twin tail,floating hair,gingham check,moonlight backlight,luminous iridescent powder light on eye,rainbow light particles,masterpiece, lily,blue flower,aqua color flower,fluttering petals,flower headdress,celtic ribbon,shining butterfly,window,ultra detailed beautiful skin,rainbow splash,floating string

masterpiece,colorful light particles, cool boy,boy,wavy hair,shigaraki tomura, powder light,watercolor, reaching out::1.5 ,ultra detailed beautiful hands, A boy of the silver shining in the night sky. The boy of blue eyes in a monochrome parka of the oversize was lighted up beautifully by the moonlight. Big Parker is very pretty like a long sleeve and skirt so that a hand hides

prompt: full body,fullbody,1girl,gothic lolita,red hair,long hair,red eyes,gothic dress,smile,simple background,celtic hair ornaments,ahoge,white background,large breasts,long skirt,black frill,bare shoulder,black chinese dress,red long skirt,wide sleeves,floating sleeves,hair bun,open mouth negative_prompt: nsfw, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, retro style cropped, signature, watermark, username, artist name model: Linaqruf/anything-v3.0 scale: 11 seed: 1152324739

【無料でAI画像生成】PCのPython環境でStableDiffusionをインストールする

今回はこちらのサイトを参考に、AIイラスト界隈で有名な無料AIイラストツール「StableDiffusion」をインストールして、実際に使ってみたいと思います。

Hugging Faceのアカウントを作成する

Hugging Faceの公式サイトを開き、Hugging Faceのアカウントを作成します。

公式サイトを開くと右上に「SignUp」のボタンがあるので、クリックして手順に従っていくとアカウントが作成できます。

アカウントの仮作成が完了し、ログイン状態になったら、登録したメールアドレスに「Hugging Face」からメールが届いているので、メールアドレスの確認リンクを開きます。

そうしたら「Hugging Face」のアカウントの作成が完了です。

アクセストークンを取得する

Hugging Faceの公式サイトの右上に表示される、自身のアイコンをクリックして、「Settings」を開きます。

「Access Tokens」タブを開き、「READ」権限でアクセストークンを作成します。

トークンの名前は何でも良いです。

Google ColabでStable Diffusionを動かす

Google Colabを開き、「ファイル > ノートブックの新規作成」を行う。

「編集 > ノートブックの設定」から、「ハードウェア アクセラレータ」を 「GPU」に設定。

下記を実行して「Stable Diffusion」をインストール

!pip install diffusers==0.8.0 transformers scipy ftfy

下記を実行して、トークン変数を準備します

YOUR_TOKEN="<HugginFace Hubのトークン>"

下記を実行してStable Diffusionのパイプラインを準備します。

from diffusers import StableDiffusionPipeline

# StableDiffusionパイプラインの準備
pipe = StableDiffusionPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4", 
    use_auth_token=YOUR_TOKEN
).to("cuda")

私のPCにインストールするより圧倒的に早いです。

下記について、promptを書き換えて、画像を生成してみます。

from torch import autocast

# テキストからの画像生成
prompt = "生成したい画像のプロンプト"
with autocast("cuda"):
    images = pipe(prompt, guidance_scale=7.5).images
images[0].save("output.png")

左メニューの「ファイル」に「output.png」として保存されています。

怖っ!!!これはかなり改善を加えないといけなさそうですね💦💦

読み込むモデルを変更してみる

Google Colabで読み込ませるモデルを「anything-v4.0」に変更してみます。

from diffusers import StableDiffusionPipeline

# StableDiffusionパイプラインの準備
pipe = StableDiffusionPipeline.from_pretrained(
    "andite/anything-v4.0", 
    use_auth_token=YOUR_TOKEN
).to("cuda")

だいぶかわいくなりました。

その他のモデルは、以下で紹介されているので色々試してみるのがよさそうです。 huggingface.co

自分のPCにStableDiffusionのインストール手順(スペック不足により失敗)

モデルの作成

以下の内容の新規ファイル「create_art.py」を作成して実行します。

# ライブラリーのインポート
from diffusers import StableDiffusionPipeline
import matplotlib.pyplot as plt

# アクセストークンの設定
access_tokens="自身のアクセストークン" # @param {type:"string"}
 
# モデルのインスタンス化
model = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", use_auth_token=access_tokens)
model.to("cuda")
$ python create_art.py

このファイルの実行がかなり重いです。15~20分くらいかかりました

画像生成用プログラムを作成する

ファイル「create_art.py」が以下になるように追記していきます。

# ライブラリーのインポート
from diffusers import StableDiffusionPipeline
import matplotlib.pyplot as plt
import re

# アクセストークンの設定
access_tokens="自身のアクセストークン" # @param {type:"string"}
 
# モデルのインスタンス化
model = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", use_auth_token=access_tokens)
model.to("cuda")

# 画像のファイル名
prompt = "生成したい画像のプロンプト" #@param {type:"string"}
filename = re.sub(r'[\\/:*?"<>|,]+', '', prompt).replace(' ','_')

# 画像数
num = 4
 
for i in range(num):
  # モデルにpromptを入力し画像生成
  image = model(prompt,num_inference_steps=100)["sample"][0]
  # 保存
  outputfile = f'{filename} _{i:02} .png'
  image.save(f"outputfile/{outputfile}")
 
for i in range(num):
  outputfile = f'{filename} _{i:02} .png'
  plt.imshow(plt.imread(f"outputfile/{outputfile}"))
  plt.axis('off')
$ python create_art.py

※「生成したい画像のプロンプト」は、自分の作りたい画像に合わせてプロンプトを入力してください。

エラーを修正する

エラー① getattr(): attribute name must be string

この状態で実行すると

TypeError: getattr(): attribute name must be string

のエラーが発生します。同様のエラーが発生したというこちらの記事を参考にエラーを解決していきます。

$ pip install diffusers==0.8.0 transformers scipy ftfy

エラー② you might not have a CUDA gpu

もう一回「create_art.py」を実行すると、また違うエラーが発生しました。

$  python create_art.py
\Python\Python39\lib\site-packages\torch\cuda\__init__.py:52: UserWarning: CUDA initialization: CUDA driver initialization failed, you might not have a CUDA gpu. (Triggered internally at  ..\c10\cuda\CUDAFunctions.cpp:109.)
  return torch._C._cuda_getDeviceCount() > 0
Fetching 16 files: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<?, ?it/s]
\Python\Python39\lib\site-packages\transformers\models\clip\feature_extraction_clip.py:28: FutureWarning: The class CLIPFeatureExtractor is deprecated and will be removed in version 5 of Transformers. Please use CLIPImageProcessor instead.
  warnings.warn(
Traceback (most recent call last):
  File "C:\Users\haru\Desktop\workspace\ai\create_art.py", line 11, in <module>
    model.to("cuda")
  File "\Python\Python39\lib\site-packages\diffusers\pipeline_utils.py", line 227, in to
    module.to(torch_device)
  File "\Python\Python39\lib\site-packages\transformers\modeling_utils.py", line 1749, in to
    return super().to(*args, **kwargs)
  File "\Python\Python39\lib\site-packages\torch\nn\modules\module.py", line 673, in to
    return self._apply(convert)
  File "\Python\Python39\lib\site-packages\torch\nn\modules\module.py", line 387, in _apply
    module._apply(fn)
  File "\Python\Python39\lib\site-packages\torch\nn\modules\module.py", line 387, in _apply
    module._apply(fn)
  File "\Python\Python39\lib\site-packages\torch\nn\modules\module.py", line 387, in _apply
    module._apply(fn)
  File "\Python\Python39\lib\site-packages\torch\nn\modules\module.py", line 409, in _apply
    param_applied = fn(param)
  File "\Python\Python39\lib\site-packages\torch\nn\modules\module.py", line 671, in convert
    return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None, non_blocking)
  File "\Python\Python39\lib\site-packages\torch\cuda\__init__.py", line 170, in _lazy_init
    torch._C._cuda_init()
RuntimeError: CUDA driver initialization failed, you might not have a CUDA gpu.

クラス CLIPFeatureExtractor は非推奨であり、Transformers のバージョン 5 で削除されます。代わりに CLIPImageProcessor を使用してください。

CUDA ドライバーの初期化に失敗しました。CUDA GPU がない可能性があります。

こちらのURLから、「CUDA Toolkit」のインストールを行っていきます。

これもダウンロードに時間がかかりますね。

インストールが完了したので再度実行してみます。

エラー③ Expected one of cpu, cuda, xpu, mkldnn, opengl, opencl, ideep, hip, msnpu, xla, vulkan device type at start of device

$  python create_art.py
Fetching 16 files: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<?, ?it/s]
\Python\Python39\lib\site-packages\transformers\models\clip\feature_extraction_clip.py:28: FutureWarning: The class CLIPFeatureExtractor is deprecated and will be removed in version 5 of Transformers. Please use CLIPImageProcessor instead.
  warnings.warn(
Traceback (most recent call last):
  File "C:\Users\haru\Desktop\workspace\ai\create_art.py", line 22, in <module>
    image = model(prompt,num_inference_steps=100)["sample"][0]
  File "\Python\Python39\lib\site-packages\torch\autograd\grad_mode.py", line 27, in decorate_context
    return func(*args, **kwargs)
  File "\Python\Python39\lib\site-packages\diffusers\pipelines\stable_diffusion\pipeline_stable_diffusion.py", line 467, in __call__
    device = self._execution_device
  File "\Python\Python39\lib\site-packages\diffusers\pipelines\stable_diffusion\pipeline_stable_diffusion.py", line 205, in _execution_device
    if self.device != torch.device("meta") or not hasattr(self.unet, "_hf_hook"):
RuntimeError: Expected one of cpu, cuda, xpu, mkldnn, opengl, opencl, ideep, hip, msnpu, xla, vulkan device type at start of device string: meta

デバイス文字列の先頭には、cpu、cuda、xpu、mkldnn、opengl、opencl、ideeep、hip、msnpu、xla、vulkan デバイス タイプのいずれかが必要です

「pipeline_stable_diffusion.py」の205行目の「meta」を「cuda」に書き換えると解消できました。

エラー④ CUDA out of memory.

CUDA out of memory. Tried to allocate 10.00 MiB (GPU 0; 6.00 GiB total capacity; 5.18 GiB already allocated; 0 bytes free; 5.30 GiB reserved in total by PyTorch)

CUDA のメモリが不足しています。 10.00 MiB を割り当てようとしました (GPU 0; 6.00 GiB の合計容量; 5.18 GiB が既に割り当てられています; 0 バイトが空いています; PyTorch によって合計で 5.30 GiB が予約されています)

次はメモリ不足…。

$ nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 528.33       Driver Version: 528.33       CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A   38C    P8     6W /  80W |      0MiB /  6144MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

実行中は最大まで振り切ってしまってますね…。

私のPCは「Stable Diffusion」を使用するにはスペックが低すぎるようです。

NovelAI 呪文まとめ - 髪飾りの服・衣装作成呪文(プロンプト)

花の髪飾りの呪文

和風なユリの髪飾り
japonica, lily hair ornaments,japonica hair ornaments,

花のヘッドドレス
flower headdress

spring flower, flower headdressなど

タンポポの髪飾り
dandelion hair ornament, dandelion flower ornaments

髪飾りの呪文

機械の髪飾り
mechanical hair ornament, cyber hair ornament,machine

頭の上に大きなリボン
bow on head

頭の上にボンボンを乗せて
bonbon on head 不思議な生き物が頭の上に生成されることが多い

大量の髪飾り
too many hair ornaments

帽子の呪文

魔法使いの帽子 witch hat

ベレー帽の呪文

ベレー帽 beret

ベレー帽に薔薇
rose on beret Gothic lolitaと組み合わせると成功しやすい

ベレー帽に青い花
blue flower on beret

NovelAI 呪文まとめ - 羽根の呪文(プロンプト)

炎の翼
flaming wings,

人型の鳥モンスター(炎)
gradient hair(red hair , black hair),{{{wings,wing arms,wing legs,black tails,}}},blue eyes,{{{1girl}}},wind,{{{flying}}},flame,flaming wings,creatures,monster,feather hair ornament,

妖精の羽
{{{fairly, see-through wings,pink fairly wings, mini wings}}},[pink butterfly wings],

機械羽
{{{mechanical}}},mechanical wings

ガンダム羽
mechanical wings,cyber wings,gundam wings

機械羽(サイバー)
mechanical wings, cyber wings

ネオンに輝く機械羽
{{{mechanical wings}}},neon lighting wings

光る羽
luminous wings

ドラゴンの羽
dragon wings

虫の羽
insect wings

機械羽mechanical wingsと組み合わせても良い( -`ω-)b

cyber wings,cyber insect wingsのようにしても透明感があって綺麗

光る丸い羽根
luminous bee wings 丸っこい羽がなんとも可愛い蜂の羽

NovelAI 呪文まとめ - すべてのプロンプト - haruの日常ブログ

NovelAI 呪文まとめ - ワンピース・ドレスの服・衣装作成呪文(プロンプト)

ワンピース・ドレスの呪文

チェックのドレス
casual,center frills,angel wings,lolita fashion,neck ribbon,pink neck ribbon,green collar,white clothes,green headdress,shoulder cutout,button,striped vest,tartan check skirt,rose,

背中が大きく空いたドレス
{{{white silk dress}}}, sexy dress,midriff,bare back

パーカーワンピース
parka,parka dress,wide sleeves,loose parka

胸開きのドレス、海外セレブドレス
dress, cleavage, underboob,

ピタッとしないドレス、ワンピース
loose dress

セーラーシャツワンピース
sailors shirts dress

オフショルダーのセーラードレス
white dress, off shoulder, soul gem,ribbon,race,sailors, thigh boots, white panties

肩出し段スカートのドレス
dress,tiered layers skirt, off shoulder,

天使のドレス
white dress,angel wings,white valley shoes, white muffler, sleeveless, ribbon bracelet,ribbon belt,white flower crown, tiered layers skirt,flying

カスタードプリンのドレス
custard pudding dress,cream dress, caramel dress,tiered layers skirt, dress shoes,

音符のドレス
large patterned dress ,music patterned dress, music note design dress,tiered layers skirt,dress shoes,white dress,

黒い羽のドレス
tarantula ,black feather bandeau ,black feather dress, black feather skirt, feather of the ostrich,midriff-baring,arm warmers, black necklace, barefoot,

蜘蛛のドレス
spider girl,spider web,tarantula,black feather, midriff-baring,black feather skirt,black horn, garter straps, black valley shoes

和風ドレス、和風な洋服
chaos color dress, composition kandinsky print, flower print,

NovelAI 呪文まとめ - すべてのプロンプト - haruの日常ブログ