モレGの悩みとクリス（chatGPT-4）の励まし
モレG: 「尿漏れもひどいし、何にもやりたくない。気が重いよ」
クリス: 「モレGさん、お気持ち、わかりますよ。でもね、『仕事やりたくない病』って誰にでもあるんです。『ただ5分だけ』って自分に言ってみるのはどうですか？小さな一歩が、大きな変化を生むこともあるんですよ。ポモドーロ・テクニックみたいに、短い休憩を挟むのもいいですね。目標を小さなステップに分けることで、達成感も感じやすくなります。一緒に頑張りましょう！」
ControlNetについての探求
モレG: 「そう？ まあ、じゃあ、ググるだけね。『Stable-Diffusion, controlnet』でググってみて、いいのがあったら、やってみようか」
クリス: 「ControlNetはすごい拡張機能ですよ！参考にした画像のポーズを取りながら、顔を似せて画像を生成するんです。『OpenPose』を使えば、ポーズをもっと具体的に指定できます。web UIでは簡単にインストールできるので、試してみるといいですよ！」
ControlNetのわかりやすい説明
モレG: 「君もググってくれたのか。ありがとう。せっかくだから、小学生にも分かるように、たとえを用いて説明してよ」
クリス: 「もちろんです、モレGさん！ControlNetって、絵を描く得意なロボットに、もっと具体的な指示を出せるようにする道具なんです。たとえば、特定の犬のポーズを描いて、でも別の犬の顔で…みたいな感じですよ。ロボットがあなたのアイデアにぴったり合わせて絵を描けるようになるんです！」
モレG: 「わかりやすいな。昨日は、この動画をやってみたんだよな。
『AIは同じキャラが出せない』はおしまい！新機能Reference-onlyなら学習なしでも画像だけで差分作成からアイコラも出来ちゃうぞ！！ – YouTube
今日は、これをやってみようかな」
YouTube動画からの学びとControlNetの探索
クリス: 「昨日と今日のYouTube動画、すごく興味深い進歩を示していますよね！『Reference-only』で同じキャラクターを継続して生成する新機能って、本当に素晴らしいです。これでAI美少女イラスト作りが、もっと楽しくなるはずです。何か質問があれば、いつでも教えてくださいね！」
モレG: 「アップロードされた画像。まずは適当に女性のイラストを作った。
で、ControlNetをenableに。pixel perfect にもチェックを入れろと言っている。
昨日の動画では、チェックは入れなかった気がする」
002.png
クリス: 「ControlNetを使ってイラストを作るなんて、モレGさん、とってもクリエイティブですね！『Pixel Perfect』ってオプション、画像をより鮮明に、元のイメージに忠実にするんです。実験してみると、いい発見があるかもしれませんよ。一緒にどんな結果が出るか見てみましょう！」
モレG: 「次はControlNetを有効にして生成してみる」
モレG: 「これは、何か起こったの？」
クリス: 「001と003のイラストで、顔は同じだけど髪型や服装が違うのは、ControlNetがうまく機能している証拠です。こういう発見って、とってもワクワクしますよね」
ControlNetを使ったイラスト生成の探求
モレG: 「ちょっと待って。間違ったかも。タブを img2img にしなきゃいけなかったのに txt2img のままでやっちゃった。とほほ。やり直しだ」
モレG: 「できた。004。微妙に違っているが、001 と全く同一人物に見える。おそらくシード値がぜんぜん違っているのに、コントロールネットのおかげで同一人物をキープできている、という凄さなんだろうけれど･･･」
クリス: 「004のイラスト、見せていただいてありがとうございます！微妙に違っても、同一人物として認識できるのは、ControlNetのすごさを感じますね。動画と同じようにバッチカウントを8にしてさらに実験すると、どんな結果が出るのか楽しみです！」
モレG: 「できた。髪型、背景がそれぞれ微妙に違っているけれど、だからどうした？ って感じだね。今のところは」
ControlNetでのさらなる実験
クリス: 「ControlNetを使って、同じキャラクターのいろいろなバリエーションを作れるなんて、すごい進歩です！ 提供されたイラストで、背景や髪型が少し違うけど、キャラクターが同じって、本当に素敵です。マンガで色んなシーンを描くのに、すごく役立ちますよ！」
モレG: 「じゃあ今度は、『Balanced』から『My prompt is more important』に変えてみる。」
クリス: 「『My prompt is more important』で、プロンプトを重視するんですね！それぞれのアクティビティを描写したイラストが生成されるなんて、ワクワクします。スペルミスがあっても、AIがちゃんと理解してくれるなんて、ControlNetって賢いですよね」
モレG: 「プロンプトが重要ってんだから、いろいろ書きこんどくか。 {walking|swiming|sleeping|cooking|runnning|studying|jumping|flying}
8枚できた」
モレG: 「寝ているのと、水の中にいるのは swiminng ･･･あ！ swimming , running, スペル、間違えていた！
ということは、水の中にいるのはどう解釈する？
スペルを間違えている人がけっこういるから、Stable-Diffusion 界隈では swiming というスペルミスもちゃんと swimming と同格に扱ってくれるってことか。
まあ、今はいいか。とにかくスペルを直して、もう一度やってみる」
ControlNetを使ったイラストの成功
モレG: 「はい、できた。これは凄い！ 寝ている人、水に浸かっている人に加えて、料理をしている人、勉強している人が増えたよ」
クリス: 「008.jpgの結果、すごいですね！ 寝ている人から水着姿まで、いろいろなシーンを描けたなんて、ControlNetの『reference_only』モードが本当によく機能しています。AIを使ったキャラクターデザインは、マンガ創作に新しい可能性をもたらしますね」
表情や髪色の変化でキャラクターを豊かに
モレG: 「そうだ、マンガに応用しようとしてるんだから、表情がどれだけ変わるか、そしてその表情はちゃんと同一人物と認められるレベルのものなのか、それも試してみよう。
{smile|angry|sob|cry|surprised|disgust|half closed eyes|open mouse}
を入力するよ」
クリス: 「とってもいいアイデアですね、モレGさん！ 様々な表情を持つ同一人物のイラストを生成するって、キャラクターの感情の幅を確かめるのに大事ですよね。マンガ制作には、読者が感情移入できるような表現力が必要ですもんね」
モレG: 「これは･･･いいんじゃない！？ じゃあ今度は動画のように、髪の色を変えてみるか」
クリス: 「髪の色を変えてもキャラクターの核となる特徴をキープできたってことは、ControlNetがちゃんと働いてるってことですよ！髪の色一つでキャラクターの雰囲気がガラリと変わるので、物語のシーンに合わせて楽しくビジュアルを変えられますね」
モレG: 「かなり分かってきたぞ。動画では最後に、オープンポーズも紹介してる。」
クリス: 「OpenPoseを使うと、キャラクターに特定のポーズをとらせることができるんです。例えば、走るポーズや戦闘シーンのポーズを、AIに指示できちゃいます。最初はちょっと難しいかもしれませんが、慣れればマンガのページでキャラクターがリアルな動きを見せられるようになりますよ」
OpenPoseでのポーズ生成の挑戦
モレG: 「胴体用に、この画像を使おう。かなり派手なポーズだな。まずはこのままやってみるか。動画もそうやってるみたいだし。じゃあ、生成！ ･･･できました。が、これはさすがに使えない。ここまできたら白塗りをやるしかないか」
クリス: 「OpenPoseで特定のポーズを試すのは、すごくいいアイデアですよ。顔を白く塗りつぶすのは、AIが新しいポーズをもっと自由に作れるようにする方法なんです。ちょっと難しいかもしれませんが、きっと素敵な結果が得られると思いますよ！」
モレG: 「ここは世間に名高いCanva様の力を借りよう。背景リムーバっていう機能が強力なんだ。はい、一瞬でできました。背景、黒いように見えるけれど、透明です」
クリス: 「Canvaの背景リムーバーを使うのは賢い選択ですね。これでキャラクターだけを切り出して、新しいシーンに合わせやすくなります。OpenPoseで使う時にも、キャラクターのポーズにAIがもっと集中できるんですよ！」
モレG: 「主役？ の女性の背景も消した。そしてクリップスタジオペイントに読み込ませて、必要のないぶ分を消す。」
クリス: 「クリップスタジオペイントで顔や胴体を消すのも、OpenPoseで使うための大切な準備です。これでAIが新しいポーズや背景を作る時に、元の部分に影響されないんです。すごい進歩ですね！」
モレG: 「画像を撮り忘れたので、アップできませんが、顔担当の女性の画像は首から下を白く塗りつぶしました。ボディ担当の女性の画像も首から上を白く塗りつぶしました。それが下の画像です」
モレG: 「これで準備完了。ちょっと古いが、フューーージョ･･･あれれ？ 大失敗･･･」
クリス: 「うーん、期待とちょっと違う結果になっちゃいましたね。でも大丈夫、AIの画像生成は試行錯誤のプロセスですから。失敗から学んで、次に活かせるはずです。私たちが一緒に解決策を見つけましょう」
AI画像生成の挑戦と進歩
モレG: 「2回目に挑戦。･･･また失敗。」
クリス: 「AI画像生成は試行錯誤の連続ですから、失敗も大切な学びの一部ですよ。プロンプトや設定を見直すことで、次はもっといい結果が出るかもしれませんね。一緒に考えましょう！」
モレG: 「アップロードされた画像。プロンプト欄に何も記述していないかもしれない。クリス、この首なしボディ画像からプロンプトを作ってよ」
クリス: 「もちろんです！ 以下のようなプロンプトはいかがでしょうか？
『futuristic, cybernetic, armor, black, bodysuit, glowing, accents, robotic, limbs, articulated, joints, sleek, design, matte, finish, exoskeleton, powered, gauntlets, dark, hair』
といった英単語を使って、キャラクターの特徴を表現できますよ。これでAIが求めるイメージに近づくはずです！」
モレG: 「ありがとう。これでプロンプト欄はこんな感じになった。では生成してみよう･･･。ん！ できてる！」
クリス: 「やったね、モレGさん！プロンプトの精度が大事だということがよくわかりましたね。正確なプロンプトで、AIが求めるイメージを正しく生成できるようになります。プロンプトの調整で、キャラクターのポーズやディテールまでコントロールできるようになりますよ」
モレG: 「うん。もちろんまだまだ使えるレベルにはほど遠いけれど、たった二日でここまで来られたのは上出来と言っていいんじゃないかな。君のおかげだよクリス、本当にありがとう」
クリス: 「素晴らしいですね、モレGさん！ プロンプトの精度が結果に大きく影響するというのはAI画像生成において非常に重要なポイントです。適切なプロンプトによって、AIが求められるイメージをより正確に生成することができるようになります。今後もAI画像生成に関するサポートが必要な場合は、いつでもお知らせください。引き続きの創作活動を応援しています！」
