【ChilloutMix】今流行りのAIコスプレイヤーを生成してみた【LoRA編】

みなさん、こんにちは。
いしかわつかさです。

前回、AIコスプレイヤーについて基礎編という事でまとめさせて頂きましたが、今回はLoRA編ということで、またちょっと違う形で可能性を見出して行きたいと思います。LoRAの正しい説明ではないですが、感覚的には、料理でいうところのスパイスのような役割と思って下さい。

  • パソコンメンテナンス
  • PC入力機器
  • PC周辺機器
  • 外付SSD
  • グラフィックボード
  1. test_wyuqing
  2. エアダスター
  3. 家電 ストア
  4. エアダスター
  5. 家電 ストア
  6. エアダスター
  7. test_wyuqing
  8. エアダスター
  9. スクリーンクリーナー
  10. CP+2019_VPC
  11. 家電 ストア
  12. 家電 ストア
  13. エアダスター
  14. クリーニングクロス
  15. エアダスター
  16. エアダスター
  17. 家電 ストア
  18. サンワサプライ
  19. エアダスター
  20. test_wyuqing
  1. 家電 ストア
  2. 家電 ストア
  3. 家電 ストア
  4. 家電 ストア
  5. 家電 ストア
  6. 家電 ストア
  7. 家電 ストア
  8. Amazon限定特典付ゲームが200円OFFクーポンプレゼント
  9. 家電 ストア
  10. 家電 ストア
  11. 家電 ストア
  12. 家電 ストア
  13. 家電 ストア
  14. 家電 ストア
  15. 家電 ストア
  16. Amazon限定特典付ゲームが200円OFFクーポンプレゼント
  17. 家電 ストア
  18. 家電 ストア
  19. 家電 ストア
  20. 家電 ストア
  1. SDカード
  2. スマートフォン関連製品
  3. GALAXY スマホ ケース フィルム特集
  4. おすすめのAnker製品
  5. microSDカード
  6. SDカード
  7. microSDカード
  8. iPhone アクセサリ
  9. SDカード
  10. タッチペン・スタイラス
    発売日 : 2018年11月07日
    価格 : ¥19,077
    新品最安値 :
    ¥19,077
  11. おすすめのAnker製品
  12. SDカード
  13. インクジェットインクカートリッジ
  14. SDカード
  15. 家電 ストア
  16. HDMIケーブル
  17. HDMIケーブル
  18. Lightning(ライトニング)ケーブル MFi認定
  19. USBケーブル
  20. SDカード
  1. USBメモリ・フラッシュドライブ
  2. 有機ELテレビと外付けHDDまとめ買いキャンペーン
  3. 外付メモリカードリーダー
  4. 外付メモリカードリーダー
  5. 外付SSD
  6. 外付メモリカードリーダー
  7. 外付メモリカードリーダー
  8. 外付メモリカードリーダー
  9. 外付SSD
  10. 外付SSD
  11. 外付SSD
  12. 外付SSD
  13. 外付ハードディスクドライブ
  14. USBメモリ・フラッシュドライブ
  15. 外付ハードディスクドライブ
  16. USBメモリ・フラッシュドライブ
  17. 外付CD・DVDドライブ
  18. 家電 ストア
  19. 外付SSD
  20. USBメモリ・フラッシュドライブ
  1. グラフィックボード
  2. グラフィックボード
  3. グラフィックボード
  4. グラフィックボード
  5. グラフィックボード
  6. グラフィックボード
  7. グラフィックボード
  8. グラフィックボード
  9. グラフィックボード
  10. グラフィックボード
  11. グラフィックボード
  12. グラフィックボード
  13. グラフィックボード
  14. グラフィックボード
  15. グラフィックボード
  16. グラフィックボード
  17. グラフィックボード
  18. グラフィックボード
  19. グラフィックボード
  20. グラフィックボード
目次

モデルが非公開になる可能性

現在、すごい勢いでユーザーを増やしている「ChilloutMix」ですが、突然公開されているモデルが非公開になる可能性があります。それは、今後常に付きまとう事になりますので、今のうちに理解しておきましょう。

2023年2月27日にChilloutMixがCivitaiから消えました。製作者がモデルを全て削除したようです。しかし、Civitaiの全責任で公開する事を発表し、現在は、ダウンロードが可能となっているようです。

LoRAをダウンロードしよう!

LoRA

LoRA」は数枚の被写体画像と対応するテキストを元にファインチューニングを行うことで、Text-to-Imageモデルに新たな被写体を学習させる手法です。「LoRA」は頭文字を取っており意味は「Low-Rank Adaptation of Large Language Models」です。このモデルは、「Civitai」というサービスで配布されています。「Civitai」は学習済みモデルやLoRAを配布・共有するサービスです。

Civitai上で1位・2位・3位を独占するDoll Likenessシリーズをダウンロード

2023年2月27日に、LoRAも非公開となりました。特に人気が高かった「Korean Doll Likeness」「Taiwan Doll Likeness」「Japanese Doll Likeness」もCivitaiからダウンロードする事が出来ません。しかし、今の段階では、別の方法でDLすることが可能です。

消えたLoRAを探す

Hugging Face上で保存されています。しかし、これもいつまで公開されているか分かりません。ご注意下さい。

LoRAを設定しよう!

ダウンロードしたLoRAモデルをアップロードする

まず、GoogleのColaboratoryのウィンドウ画面から、インストールされた「AUTOMATIC1111-WebUI」の階層フォルダ「Lora」にダウンロードした、LoRAモデルをアップロードします。インターネット環境に依存しますが、時間が掛かります。また、この作業はLoRAを使用したい場合、「chilloutmix.ipynb」を実行する度に必要な作業となります。

このあたりが、Web上で作業する際のデメリットですね。

下記の、オレンジのサークルが一周するまで待ちます。

LoRAモデルを使用する

  1. 花札マークをクリックします。クリックすると、下に新たにウィンドウ表示されます。
  2. 表示されたウィンドウの「Lora」タブをクリックします。正常に読み込みが出来ていたら、ここに3つのモデルが表示されます。
  3. 「japaneseDollLikeness」をクリックする。クリックすると、ポジティブプロンプトの方に、<lora:japaneseDollLikeness:1>と表示されます。再びクリックを押すと、表示が消えます。

LoRAが正常に動作しているか確認

まず、LoRAモデルを適応する場合、一部設定を変更して置いた方がいい箇所があります。それは、「Settings-Stable Diffusion-Clip skip」です。ここのデフォルト1を2に変更して下さい。詳しい効果は分かりませんが、世の中がそういう風にしていますので、それにならっています。

ではさっそくテストします。今回は、前回作成したSample1を使用します。
ポジティブプロンプトの<lora:japaneseDollLikeness:1>以外は、全く同じ設定として下さい。

ORIGINAL
<lora:japaneseDollLikeness:1>

このように、イラストが大きく変化すれば正常に動作しています。
同じ設定からLoRAを使用するだけで全く違う仕上がりになるのが分かると思います。

LoRAモデルを適応しよう!

LoRAのモデルの要素をどれぐらい適応するかを10段階でコントロールします。
<lora:japaneseDollLikeness:1>左の赤字部分を0.1〜1の間を0.1刻みで指定します。

Japanese Doll Likenessの比較

数値が高くなる程、化粧が濃くなっていますね。0.4か0.5がいい感じに効果が適応されると思います。

Korean Doll Likenessの比較

これに関しては、0.5以上でも不自然さがないですね。

Taiwan Doll Likenessの比較

これは、0.3か0.5が良い気がしますね。僕の中に台湾人のイメージが全然ないですが、胸が大きいな女性が多いのかな?

Mixの比較

それぞれのLoRAを0.3ずつ加えています。このようにLoRAのモデルは組み合わせる事が可能です。

まとめ

今回は、応用編としてLoRAモデルについて説明しました。WebUIを使用する場合のネックは、LoRAをアップロードするのに時間がかかることですね。でも、仕上がりは本物なので、是非これにも挑戦してほしいです。

 
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメント一覧 (6件)

  • LoRAモデルを正常に読み込めないのですが解決策はありますか?

    当ブログの手順でstable diffusion を起動しており、通常の画像出力は問題ありません。
    紹介されていたページからモデルをダウンロードして、以下の階層の通りにモデルをアップロードして起動するとエラー表示され、起動に失敗します。
    stable-diffusion-webui
    → models
    → Lora
    → Taiwan-doll-likeness.safetensors,
      Korean-doll-likeness.safetensors,
      Japanese-doll-likeness.safetensors

    何か原因があれば教えていただけますと幸いです。

    • エラーについてですが、「Google Colaboratory」上に出来た階層にアップロードしてエラーが出たという事ですが、「stable diffusion」と「Google Colaboratory」のどちらでエラーが表示されていますか?連絡頂いた、フォルダで間違いございません。
      僕はエラーが出た事がないので、今の症状について具体的なアドバイスが出来ないですが、LoRAをアップロードした後、「stable diffusion」でLoRAが認識しない場合、”花札”マークを押して、「LoRA」のタブが表示された後、”Search…”の右隣の”Refresh”をクリックすることで表示されます。
      また、「stable diffusion」メイン画面の「txt2img」や「img2txt」があるタブの一番右「extensions」をクリックし、「LoRA」のところに”チェック”が入っているか、その隣が「built-in」になっているかも確認してみて下さい。

    • 解決した様で、よかったです。LoRAはとても面白いので、色々試してみて下さい。

  • AIイラストの事はさっぱりでしたが、何とか起動と簡易な操作まで覚えました
    いまはLoRA適用を実践中。解説ページありがとうございます。

    • 返信が遅くなりすみません。ありがとうございます。
      お役に立ててうれしいです。

コメントする

目次