みなさん、こんにちは。
いしかわつかさです。
前回、AIコスプレイヤーについて基礎編という事でまとめさせて頂きましたが、今回はLoRA編ということで、またちょっと違う形で可能性を見出して行きたいと思います。LoRAの正しい説明ではないですが、感覚的には、料理でいうところのスパイスのような役割と思って下さい。
- パソコンメンテナンス
- PC入力機器
- PC周辺機器
- 外付SSD
- グラフィックボード
モデルが非公開になる可能性
現在、すごい勢いでユーザーを増やしている「ChilloutMix」ですが、突然公開されているモデルが非公開になる可能性があります。それは、今後常に付きまとう事になりますので、今のうちに理解しておきましょう。
2023年2月27日にChilloutMixがCivitaiから消えました。製作者がモデルを全て削除したようです。しかし、Civitaiの全責任で公開する事を発表し、現在は、ダウンロードが可能となっているようです。
LoRAをダウンロードしよう!
LoRA
「LoRA」は数枚の被写体画像と対応するテキストを元にファインチューニングを行うことで、Text-to-Imageモデルに新たな被写体を学習させる手法です。「LoRA」は頭文字を取っており意味は「Low-Rank Adaptation of Large Language Models」です。このモデルは、「Civitai」というサービスで配布されています。「Civitai」は学習済みモデルやLoRAを配布・共有するサービスです。
Civitai上で1位・2位・3位を独占するDoll Likenessシリーズをダウンロード
2023年2月27日に、LoRAも非公開となりました。特に人気が高かった「Korean Doll Likeness」「Taiwan Doll Likeness」「Japanese Doll Likeness」もCivitaiからダウンロードする事が出来ません。しかし、今の段階では、別の方法でDLすることが可能です。
消えたLoRAを探す
Hugging Face上で保存されています。しかし、これもいつまで公開されているか分かりません。ご注意下さい。
LoRAを設定しよう!
ダウンロードしたLoRAモデルをアップロードする
まず、GoogleのColaboratoryのウィンドウ画面から、インストールされた「AUTOMATIC1111-WebUI」の階層フォルダ「Lora」にダウンロードした、LoRAモデルをアップロードします。インターネット環境に依存しますが、時間が掛かります。また、この作業はLoRAを使用したい場合、「chilloutmix.ipynb」を実行する度に必要な作業となります。
このあたりが、Web上で作業する際のデメリットですね。
下記の、オレンジのサークルが一周するまで待ちます。
LoRAモデルを使用する
- 花札マークをクリックします。クリックすると、下に新たにウィンドウ表示されます。
- 表示されたウィンドウの「Lora」タブをクリックします。正常に読み込みが出来ていたら、ここに3つのモデルが表示されます。
- 「japaneseDollLikeness」をクリックする。クリックすると、ポジティブプロンプトの方に、<lora:japaneseDollLikeness:1>と表示されます。再びクリックを押すと、表示が消えます。
LoRAが正常に動作しているか確認
まず、LoRAモデルを適応する場合、一部設定を変更して置いた方がいい箇所があります。それは、「Settings-Stable Diffusion-Clip skip」です。ここのデフォルト1を2に変更して下さい。詳しい効果は分かりませんが、世の中がそういう風にしていますので、それにならっています。
ではさっそくテストします。今回は、前回作成したSample1を使用します。
ポジティブプロンプトの<lora:japaneseDollLikeness:1>以外は、全く同じ設定として下さい。
このように、イラストが大きく変化すれば正常に動作しています。
同じ設定からLoRAを使用するだけで全く違う仕上がりになるのが分かると思います。
LoRAモデルを適応しよう!
LoRAのモデルの要素をどれぐらい適応するかを10段階でコントロールします。
<lora:japaneseDollLikeness:1>左の赤字部分を0.1〜1の間を0.1刻みで指定します。
Japanese Doll Likenessの比較
数値が高くなる程、化粧が濃くなっていますね。0.4か0.5がいい感じに効果が適応されると思います。
Korean Doll Likenessの比較
これに関しては、0.5以上でも不自然さがないですね。
Taiwan Doll Likenessの比較
これは、0.3か0.5が良い気がしますね。僕の中に台湾人のイメージが全然ないですが、胸が大きいな女性が多いのかな?
Mixの比較
それぞれのLoRAを0.3ずつ加えています。このようにLoRAのモデルは組み合わせる事が可能です。
まとめ
今回は、応用編としてLoRAモデルについて説明しました。WebUIを使用する場合のネックは、LoRAをアップロードするのに時間がかかることですね。でも、仕上がりは本物なので、是非これにも挑戦してほしいです。
コメント
コメント一覧 (6件)
LoRAモデルを正常に読み込めないのですが解決策はありますか?
当ブログの手順でstable diffusion を起動しており、通常の画像出力は問題ありません。
紹介されていたページからモデルをダウンロードして、以下の階層の通りにモデルをアップロードして起動するとエラー表示され、起動に失敗します。
stable-diffusion-webui
→ models
→ Lora
→ Taiwan-doll-likeness.safetensors,
Korean-doll-likeness.safetensors,
Japanese-doll-likeness.safetensors
何か原因があれば教えていただけますと幸いです。
エラーについてですが、「Google Colaboratory」上に出来た階層にアップロードしてエラーが出たという事ですが、「stable diffusion」と「Google Colaboratory」のどちらでエラーが表示されていますか?連絡頂いた、フォルダで間違いございません。
僕はエラーが出た事がないので、今の症状について具体的なアドバイスが出来ないですが、LoRAをアップロードした後、「stable diffusion」でLoRAが認識しない場合、”花札”マークを押して、「LoRA」のタブが表示された後、”Search…”の右隣の”Refresh”をクリックすることで表示されます。
また、「stable diffusion」メイン画面の「txt2img」や「img2txt」があるタブの一番右「extensions」をクリックし、「LoRA」のところに”チェック”が入っているか、その隣が「built-in」になっているかも確認してみて下さい。
別日に再起動→refreshで読み込みできました。ありがとうございます。
解決した様で、よかったです。LoRAはとても面白いので、色々試してみて下さい。
AIイラストの事はさっぱりでしたが、何とか起動と簡易な操作まで覚えました
いまはLoRA適用を実践中。解説ページありがとうございます。
返信が遅くなりすみません。ありがとうございます。
お役に立ててうれしいです。