Zenn
😽

立ち絵アニメーション制作の手順[AIとやってみた](天秤AI)

2025/03/11に公開
AI
aiとやってみた
天秤ai
立ち絵アニメ
tech

OpenAIgpt4

生成AIで口パクと瞬きをする立ち絵を作るにはどうしたらいいですか。色々な表情のバージョンも作りたいです

生成AIを使用して口パクと瞬きをする立ち絵を作成するには、いくつかのステップとツールを利用する必要があります。以下はその方法の概要です。

  1. キャラクターデザイン:

    • まず、キャラクターのデザインを確立します。これは自分で描くか、アーティストに依頼することもできます。もしAIを使ってキャラクターを生成したい場合、Stable DiffusionやDALL-Eなどの生成AIを使ってキャラクターのイメージを作成することもできます。

  2. 表情差分の作成:

    • キャラクターの様々な表情（例: 笑顔、驚き、怒り、悲しみなど）を描きます。これも生成AIを使ってバリエーションを生成したり、手作業でイラストを修正するなどの方法で行います。

  3. レイヤー分け:

    • 立ち絵を口、目、眉などのパーツごとにレイヤーで分けて保存します。例えば、PSD形式やPNG形式でレイヤーを個別に管理できるようにすると便利です。

  4. アニメーションソフトの使用:

    • 登場人物の口パクや瞬きを簡単に制御するために、Live2DやSpineなどのソフトウェアを使用することが一般的です。これらのソフトは、2Dキャラクターのアニメーションをつけるのに適しており、デインティングされた各パーツを動かすことができます。

  5. アニメーション設定:

    • アニメーションソフト内で、口パクや瞬きのアニメーションを設定します。タイムラインを使用し、どのフレームでどのパーツがどのように動くかを細かく設定します。
    • キーフレームを使って自然な動きを作り出し、ループさせるとよりリアリスティックになります。

  6. エクスポートと実装:

    • 完成したアニメーションはGIFや動画形式でエクスポートし、ゲームや動画コンテンツに組み込むことができます。また、リアルタイムに口パクや瞬きを制御したい場合は、Unityなどのゲームエンジンと連携することも可能です。

これらの手順により、生成AIを活用して魅力的な立ち絵アニメーションを作成することができます。各ソフトウェアにはそれぞれ独自の機能があるため、具体的な使い方については公式ドキュメントやチュートリアルを参照することをお勧めします。

stable diffusion などのAIで基本となる立ち絵を生成する具体的な方法、プロンプトを教えて欲しいです

Stable DiffusionなどのAIで立ち絵を生成するためには、適切なプロンプトを使ってAIに描画の指示を出すことが重要です。以下に具体的な方法とプロンプトの作り方を紹介します。

1. ツールの準備

  • Stable Diffusion インターフェース: Google Colab、localインストール、またはWebベースのサービス（例: DreamStudio）などを利用してStable Diffusionを実行できる環境を用意します。

2. 基本となるプロンプトの作成
プロンプトはAIへの指示となる文章で、どのような絵を生成したいかを具体的に伝えます。

基本のプロンプト要素

  • キャラクターの外観:

    • 年齢、性別、髪の色やスタイル、服装など。
    • 例: "young female character with long blue hair and a simple white dress"

  • ポーズとアングル:

    • 特定のポーズやカメラの角度を指定します。
    • 例: "standing pose, frontal view"

  • スタイル:

    • アートスタイルや雰囲気：リアリスティック、アニメ風、コミックスタイルなど。
    • 例: "in anime style with vibrant colors"

  • 背景:

    • シンプルな背景や特定のシーン設定。
    • 例: "with a plain white background"

サンプルプロンプト

"anime-style character full body, young female with long blue hair and a ponytail, wearing a white flowing dress, standing pose with frontal view, plain white background"

3. パラメータ設定

  • Seed: おなじプロンプトでもSeedを固定することで同じ画像を再生成できる。ランダム性を制御したい場合に使います。
  • Steps: 生成プロセスのステップ数。多く設定するほど詳細になるが、時間がかかる。
  • Cfg Scale: プロンプトにどれだけ厳密に従うかを設定する。高すぎると硬直した画像になるため、7-12の範囲で調整します。

4. プロンプトの具体例

  • シンプルな女性キャラクター:

    "anime-style full body character, young woman with medium length red hair, green eyes, wearing a blue school uniform, standing, plain white backdrop"

  • ヒーロー風のキャラクター:

    "superhero male character, muscular build, short black hair, wearing a red and blue costume with a cape, dynamic action pose, city skyline in the background"

5. 発行と調整
生成された画像を確認し、必要ならプロンプトを微調整して再生成します。特にポーズや服装、スタイルなどが微妙に異なる場合がありますので、それに応じてプロンプト内容を更新します。

このようにして立ち絵の基本を生成した後、顔や服装、その他の要素について細かい調整を加えることにより、より具体的なビジョンに近づけることができます。生成結果に満足できない場合、パラメータやプロンプトの内容を調整しながら試行錯誤を重ねてください。

口パクや瞬きをするには、同じサイズの同じ画像で口だけ開閉や目だけ開閉の絵のパターンが必要ですが、それはどうやって支持したらいいのですか。

口パクや瞬きをする立ち絵をAIで生成する際、同じキャラクターの異なるパーツ（口や目）が閉じたり開いたりするバリエーションを作成する必要があります。これを生成AIで行うには、いくつかの方法があります。

アプローチ方法

  1. 元画像の生成:
    まず、基本となるキャラクターの画像を生成します。この際、顔がしっかり見える角度や表情を選んでおくと、後の調整が楽になります。

  2. プロンプトによる微調整:
    同じキャラクターで口や目の表情を変えたバリエーションを作成するために、AIに異なるプロンプトを使用します。

    例:

    • 口を閉じた状態:

      "anime-style character, young woman with long blue hair, wearing a white dress, frontal view, mouth closed, eyes open"

    • 口を開けた状態:

      "anime-style character, young woman with long blue hair, wearing a white dress, frontal view, mouth open, eyes open"

    • 目を閉じた状態:

      "anime-style character, young woman with long blue hair, wearing a white dress, frontal view, mouth closed, eyes closed"

    この手法では、AIが同じスタイルで異なる表情を生成するように指示します。

  3. 画像編集ツールの使用:
    AIによるバリエーション生成が難しい場合、画像編集ツールを使って手動で調整することが考えられます。例えば、PhotoshopやGIMPなどのツールを使って次のようなことができます。

    • レイヤー管理: 元の立ち絵をベースに、口や目を描き変えることで異なる表情を作成します。各パターンごとにレイヤーを作成し、必要に応じて表示・非表示を切り替えられるようにします。

    • 変形ツール: 既存の目や口を変形ツールや描画ツールで加工し、開閉状態を表現します。

常に意識する点

  • 一貫性: 同じキャラクターの特定の部分だけを変えるため、一貫したスタイルと品質を保つことが重要です。生成AIの出力にブレが生じる場合は、微調整や手動による編集で補完します。
  • 画像サイズ: キャラ部分のサイズや位置が変わらないようにし、アニメーションソフトで利用しやすいようにフォーマットを統一します。

このプロセスを通じて、立ち絵の異なる表情バリエーションを用意し、アニメーションソフトウェアでの口パクや瞬きのフェーズに適した素材として活用できます。AIの生成能力と手動編集を併用することで、効率的に目的の結果を得られるでしょう。

img2imgやControlNetを使用して口パクする方法をもっと詳しく教えて

img2imgやControlNetを使用してキャラクターの口パクなど細かい変化を生成する方法は、AIの生成能力を高度に利用する手法です。以下に、その具体的なステップを詳しく説明します。

準備

まず、Stable Diffusionがインストールされている環境（通常はWeb UIやGoogle Colabを使用）を用意します。ControlNetもサポートされている環境が望ましいです。

定義

  • img2img: 既存の画像をベースにして別の画像を生成する手法です。
  • ControlNet: 指定した条件や構造（ポーズやライン）に基づいて、画像を生成または変換するための機能です。

手順

1. 初期画像の用意

  • 最初に、基本のキャラクターイメージを生成します。この画像は、キャラクターの全体像をしっかりとつかんだもので、特に口が閉じた状態のものを用意します。

2. 口パク用のリファレンス画像の用意

  • AIにより制御を効かせた生成をするため、口パクのバリエーションが必要です。このバリエーション画像は、既存の口の形を加工するか、手動で描いたものを使用します。

3. img2imgの活用

  • 設定:

    • 初期のキャラクター画像をimg2imgのベース画像として読み込みます。
    • 口を開けた状態など、望む表情を持つバリエーション用の画像をガイドとして使用します。

  • プロンプト:

    • プロンプトには、変更したい特徴を具体的に記述します。例えば「口が開いているキャラクター」などです。

  • パラメータの設定:

    • Strength: この設定により、元画像とプロンプトの影響度のバランスを決めます。通常、0.4から0.6の範囲で調整します。

4. ControlNetの活用（オプショナル）

  • ControlNetを使用すると、ポーズや表情をより詳細に制御することができます。

  • プロセス:

    • ControlNetにリファレンス画像を基にした「ライン」や「構造」情報を入力します。
    • 例えば、口の開閉を示す簡単なスケッチや、目の開閉ラインをシンプルな描画として入力します。

  • 使用方法:

    • Input条件には、特に変更する必要のある部位（口、目）をピンポイントで指示します。

  • アウトプット:

    • AIが指定した形状やガイドラインに沿って画像を生成します。

5. 繰り返しと調整

  • 初期生成結果を確認し、必要に応じてプロンプトを調整します。
  • 結果が満足いくものになったら、エクスポートして次のアニメーション作成フェーズに使用します。

結果の活用

生成された口パクのバリエーションは、Live2DやSpineなどのアニメーションソフトで使うことで、キャラクターが話しているように見せることができます。AIによって自動生成された画像を利用し、高度なアニメーションや動画プロジェクトに応用することが可能です。

この手法では、AIの生成能力を最大限に活用しながら、繊細な制御で想像を実現します。実際の実装では、細かな調整が必要になるため、AIの出力を繰り返し確認し、微調整を行ってください。

stable diffusion 以外のAIで方法はありますか

Stable Diffusion以外にも、キャラクターの立ち絵や口パクなどのアニメーションを生成するために使用できる生成AIツールや技術がいくつか存在します。以下にいくつかの方法を紹介します。

1. DALL-E 2 (OpenAI)

DALL-E 2は特に創造的な画像生成に強みがありますが、具体的な表情や姿勢のバリエーションを出すことは難しいかもしれません。生成された画像を基に編集ツールを使って口パクのバリエーションを作成することが考えられます。

方法

  • 基本のキャラクター画像を生成。
  • 画像編集ツール（Photoshop、GIMPなど）を使い、口や目を手動で編集。

2. Midjourney

Midjourneyは特にアートスタイルや芸術的な表現を得意とするため、共通のスタイルでキャラクターのバリエーションを創り出すのに適しています。

方法

  • Discordを通じてプロンプトを使用し、キャラクター画像を生成。
  • 生成された画像を撮影し、後で編集して表情のバリエーションを追加。

3. DeepArt.io

DeepArt.ioはスタイル転送技術を活用するため、既存のスタイルを別の画像に適用することが可能です。ただし、これは口パクのダイナミックな生成には直接的でないかもしれません。

方法

  • 基本のキャラクター画像と異なる表情やスタイルの参照画像を使ってスタイル転送。
  • 結果を編集して用途に合わせる。

4. GANベースの技術 (Generative Adversarial Networks)

GANsは画像生成の分野で幅広く使用されており、特にNVIDIAのStyleGANなどがあります。特定のデータセットを持たないと訓練が必要になることが多いですが、条件を満たせば高品質な画像生成が可能です。

方法

  • Pre-trainedモデルを使用して、キャラクターのバリエーションを生成。
  • トレーニングデータセットをカスタマイズして特定の変化（口パクや瞬き）に対応。

5. 2Dアニメーションソフトとの連携

  • Live2DやSpine: これらは直接AIを使うわけではないですが、生成された画像を基に詳細なアニメーションを作成できます。これらのツールは、分けたレイヤーを使用して細かい動きを実現するため、完成度の高い結果を取得可能です。

総括

一般的に、初期生成された画像に対する後の編集とアニメーションソフトウェアへの依頼は、多くのツールで共通しています。生のAI生成だけでなく、画像編集やアニメーションソフトを組み合わせて、望む結果を得ることが実用的です。技術の選択は、具体的な要件や目的によって異なってくるので、各ツールの特徴や得意とするスタイルを理解した上で、適切な組み合わせを選ぶことが大切です。

GeminiPro15

生成AIで口パクと瞬きをする立ち絵を作るにはどうしたらいいですか。色々な表情のバージョンも作りたいです

生成AIを使って口パクと瞬きをする、様々な表情の立ち絵を作る方法はいくつかあります。

1. VRoid Studioなどのキャラクター作成ソフトと連携させる

  • VRoid Studio などで作成した3Dモデルに、 LIVE2D Cubism などのソフトでボーンを組み込み、表情や動きを付けられます。
  • メリット
    • 表情や動きを細かく設定できる
    • 口パクや瞬きだけでなく、体の動きも表現可能
  • デメリット
    • ある程度のソフトの習熟が必要
    • 3Dモデル作成の知識も必要

2. Live2D Cubismなどの2Dアニメーションソフトを使用する

  • イラストをパーツごとに分け、Live2D Cubismなどのソフトに取り込み、ボーンを組み込み、アニメーションを設定します。
  • メリット
    • 3Dモデルよりも制作が比較的容易
    • イラストのタッチを生かせる
  • デメリット
    • 3Dモデルに比べると表現の自由度は低い

3. AIを活用した画像生成サービスを利用する

  • D-ID や Artbreeder などのサービスでは、アップロードした画像や生成したキャラクターに、AIで表情や動きを付けることができます。
  • メリット
    • 専門知識が不要で手軽
    • 短時間で作成できる
  • デメリット
    • カスタマイズ性が低い場合がある
    • サービスによっては有料

表情のバージョンを作るには

  • 上記いずれの方法においても、表情パターンごとにパーツの位置や形を調整する必要があります。
  • 目や口の開閉、眉の角度、顔の赤みなどを調整することで、喜び、悲しみ、怒りなどの様々な表情を作り分けられます。

その他

  • 最近では、Stable Diffusion などの画像生成AIで、特定のキャラクターのイラストを大量に生成し、それを元にアニメーションを作成する手法も注目されています。

どの方法が最適かは、求めるクオリティ、制作時間、予算、スキルなどを考慮して選択する必要があります。

stable diffusion などのAIで基本となる立ち絵を生成する具体的な方法、プロンプトを教えて欲しいです

Stable Diffusionを使って立ち絵を生成する場合、キャラクターの外観、ポーズ、服装、背景などを細かく指定する必要があります。

具体的なプロンプト例

# 基本的な立ち絵
A beautiful anime girl with long blue hair and red eyes, wearing a white dress, standing in front of a park, full body, looking at viewer, slight smile

## 詳細な設定例
* **髪型:** long blue hair, twintails, short bob, etc.
* **髪色:** blue, pink, blonde, etc.
* **目の色:** red, blue, green, etc.
* **服装:** white dress, school uniform, casual wear, etc.
* **ポーズ:** standing, sitting, arms crossed, hand on hip, etc.
* **背景:** park, classroom, city street, etc.
* **表情:** smiling, neutral, angry, etc.
* **画風:** anime, cartoon, realistic, etc.

# 例
A cute anime girl with short pink hair and purple eyes, wearing a school uniform, standing with her arms crossed, looking at viewer, slightly annoyed, anime style, high quality

# その他
* 日本語で記述しても生成可能です。
* 生成される画像はランダム性があるので、何度か生成して好みの絵柄を見つける必要があります。
* 生成された画像を元に、さらに細かい調整を加えることも可能です。

ポイント

  • 詳細な指示を出す: 漠然とした指示ではなく、髪型、服装、背景など、具体的に描写するほうがイメージ通りの画像が生成されやすいです。
  • 英語で記述する: 現時点では、英語で記述するほうがより正確な結果が得られます。
  • ネガティブプロンプトを使う: 生成して欲しくない要素を指定することで、よりイメージに近い画像を生成できます。 例： bad anatomy, ugly, blurry
  • 複数のプロンプトを試す: 同じ指示でも、表現の仕方を変えることで異なる結果が得られます。
  • パラメータ調整: Stable Diffusionには、画像の生成方法を細かく調整できるパラメータが用意されています。これらのパラメータを調整することで、さらに思い通りの画像を生成できます。

その他

  • Stable Diffusionは、学習データに偏りがあるため、特定の人種や体型、服装の画像を生成するのが苦手な場合があります。
  • 生成した画像は、著作権フリーではない場合があるので、利用規約を確認する必要があります。

色々なプロンプトを試して、思い通りの立ち絵を作成してみてください。

口パクや瞬きをするには、同じサイズの同じ画像で口だけ開閉や目だけ開閉の絵のパターンが必要ですが、それはどうやって支持したらいいのですか。

Stable Diffusion単体では、口パクや瞬きなどの一連の動作を伴う画像を直接生成することはできません。Stable Diffusionは静止画を生成するAIなので、アニメーションのように時間的な変化を表現することは苦手です。

しかし、口パクや瞬きに対応する立ち絵を生成する方法はいくつかあります。

1. バリエーションを生成する

プロンプトに少しずつ変化を加えて、口の開き具合や目の開閉状態の異なる画像を複数枚生成する方法です。

  • 口パクの場合: "mouth open", "mouth slightly open", "mouth closed" などのキーワードをプロンプトに追加し、それぞれ個別に画像を生成します。
  • 瞬きの場合: "eyes closed", "eyes half closed", "eyes open" などのキーワードを使ってバリエーションを作成します。

2. ControlNetなどの追加機能を使う

ControlNetは、ポーズや構図を指定して画像生成を制御できるStable Diffusionの拡張機能です。あらかじめ用意した「口を開けている」「目を閉じている」などの画像を参考に、同じキャラクターで異なる表情の画像を生成できます。

  • メリット: ポーズや構図を維持したまま表情差分を生成しやすい
  • デメリット: ControlNetの導入と使い方を覚える必要がある

3. 画像編集ソフトで加工する

Stable Diffusionで生成した画像をベースに、PhotoshopやGIMPなどの画像編集ソフトを使って口や目を描き加える方法です。

  • メリット: 細かい調整が可能
  • デメリット: 画像編集の知識や技術が必要になる

4. 外部ツールと連携する

生成した複数の画像を、アニメーション作成ソフトやLive2D Cubismなどのツールに取り込み、動きをつける方法です。

重要なポイント

  • いずれの方法でも、最終的に口パクや瞬きとして自然に見えるように、画像間の繋がりを意識することが重要です。
  • フレームレートやタイミングを調整することで、より自然で生き生きとしたアニメーションを作成できます。

これらの方法を組み合わせることで、Stable Diffusionを使って口パクや瞬きをするキャラクターの立ち絵を作成することが可能です。

img2imgやControlNetを使用して口パクする方法をもっと詳しく教えて

img2imgとControlNetを使った口パクアニメーション用画像生成

Stable Diffusionのimg2img機能とControlNetを組み合わせることで、ベースとなる立ち絵の構図を維持したまま、口の動きだけを変化させた画像を効率的に生成できます。

ここでは、ControlNetで「開いた口」を生成し、img2imgで微調整する方法を例に解説します。

1. 準備

  • Stable Diffusion WebUI: AUTOMATIC1111版など、img2imgとControlNetが使用できる環境を構築します。
  • ControlNetモデル: control_openpose.safetensorsなど、人物のポーズを認識できるモデルをダウンロードしておきます。
  • ベースとなる立ち絵: 口を閉じた状態の立ち絵を生成しておきます。

2. ControlNetで「開いた口」を生成

  1. ControlNet設定:
    • Enable にチェックを入れ、ControlNetを有効化します。
    • Preprocessor で "Openpose" を選択します。
    • Model でダウンロードしておいた control_openpose.safetensors を選択します。
  2. 画像生成設定:
    • ベースとなる立ち絵を Image にドラッグ&ドロップします。
    • プロンプトに口を開けた状態を指定するキーワード (例: open mouth, smiling) を追加します。
    • 必要に応じて、生成画像のクオリティを調整するパラメータ (Sampling steps, CFG scaleなど) を変更します。
  3. 生成実行: Generate ボタンを押して画像を生成します。

3. img2imgで微調整

  1. ControlNet設定: ControlNetの設定は手順2と同様です。
  2. 画像生成設定:
    • Mode を Image to Image に変更します。
    • Image に手順2で生成した「開いた口」の画像をドラッグ&ドロップします。
    • Denoising strength を0.3〜0.7程度の値に設定します。値が小さいほど元の画像に近くなり、大きいほどプロンプトの影響が強くなります。
    • プロンプトはベースとなる立ち絵で使用したものと同じものを設定します。
  3. 生成実行: Generate ボタンを押して画像を生成します。

4. その他の口パクパターンを作成

「少し口を開けた状態」「あいうえお」など、異なる口の形の画像を生成するには、手順2のプロンプトやControlNetで与えるポーズを変えて繰り返します。

ポイント

  • ControlNetで生成した画像はあくまで参考画像として機能します。img2imgでの微調整によって、より自然な口の形に近づけることができます。
  • Denoising strength の値を調整することで、生成される画像の構図や表情の変わり具合をコントロールできます。
  • プロンプトやControlNetの設定を工夫することで、「笑顔」「怒り顔」など、様々な表情の口パクアニメーション用画像を作成できます。

上記の手順を参考に、様々な口の形の画像を生成してみてください。

stable diffusion 以外のAIで方法はありますか

Stable Diffusion以外にも、口パクアニメーション用の画像を生成できるAIはいくつかあります。それぞれ特徴があるので、用途に合わせて使い分けましょう。

1. Generative Adversarial Networks (GAN) ベースのモデル

  • Artbreeder: 顔画像の生成に特化したAIで、口の開き具合や表情をスライダーで調整できます。アニメ調のイラストも生成可能です。
  • StyleGAN2-ADA: 高精細な顔画像を生成できるモデルで、学習データ次第ではアニメ風イラストにも対応できます。口パクアニメーション用のデータセットでFine-tuningすれば、より精度の高い画像生成が期待できます。

2. テキストから画像を生成するAI

  • Midjourney: アート的な表現に優れた画像を生成するAIです。プロンプトで口の動きを指定することで、様々なスタイルの口パクアニメーション用画像を生成できます。
  • DALL-E 2: OpenAIが開発した高性能な画像生成AIで、複雑な指示にも対応できます。Stable Diffusionと同様に、プロンプトで口の動きを指定できます。

3. 口パクアニメーションに特化したツール

  • Live2D Cubism: イラストをパーツごとに分けて動かすことで、滑らかなアニメーションを作成できるソフトです。AIではありませんが、口パクアニメーションの制作には非常に有効なツールです。
  • VRoid Studio: 3Dキャラクターモデルを作成できるソフトです。作成したモデルは表情を付けることができ、口パクアニメーションにも対応しています。

4. その他

  • DeepFaceLab: 顔の部分だけを入れ替える「DeepFake」技術を用いたツールです。既存の動画から口の動きを学習させ、自分のイラストに適用できます。
  • Adobe Character Animator: Webカメラで自分の表情を読み取って、キャラクターのアニメーションを作成できるツールです。口パクアニメーションも自然に作成できます。

Stable Diffusion以外のAIを使うメリット

  • 使いやすさ: Stable Diffusionは高機能ですが、設定が複雑な面もあります。Artbreederのようなツールは、初心者でも簡単に扱えます。
  • 生成画像のスタイル: Stable Diffusionはアニメ調の画像生成を得意としていますが、他のAIはより写実的な画像や、独特なアートスタイルの画像を生成できます。
  • 専門性の高さ: 口パクアニメーションに特化したツールを使うことで、よりクオリティの高いアニメーションを制作できます。

どのAIを使うかは、求めるクオリティ、制作時間、予算、スキルなどを考慮して選択する必要があります。

AnthropicClaude35Sonnet

生成AIで口パクと瞬きをする立ち絵を作るにはどうしたらいいですか。色々な表情のバージョンも作りたいです

生成AIで口パクと瞬きをする立ち絵を作成するための一般的なワークフローをご紹介します：

  1. 基本イラストの作成:
  • Stable Diffusion等のAIで基本となる立ち絵を生成
  • 表情のバリエーション（通常、笑顔、怒り等）を別々に生成
  1. パーツ分け:
  • キャラクターの目と口を別レイヤーとして切り出し
  • Live2D用に以下のパーツを用意:
    • 目: 開いた状態、半開き、閉じた状態
    • 口: 閉じた状態、半開き、開いた状態
  1. アニメーション化:
    以下のツールのいずれかを使用:
  • Live2D
  • VTuber Studio
  • FaceRig
  • Adobe After Effects
  • Spine
  1. 実装方法:
  • WebサイトやアプリでLive2D SDKを使用
  • Unity等のゲームエンジンに組み込み
  • 動画編集ソフトで animation keyframe を設定

注意点:

  • AIで生成した画像の商用利用には注意が必要
  • パーツの切り出しは丁寧に行う
  • 自然な動きになるよう調整が必要

これらの手順を踏むことで、動きのある立ち絵を作成できます。

stable diffusion などのAIで基本となる立ち絵を生成する具体的な方法、プロンプトを教えて欲しいです

Stable Diffusionで立ち絵を生成するための具体的な方法をご紹介します：

基本的なプロンプト構成：

[キャラクターの基本設定], full body, standing pose, front view, looking at viewer, white background, high quality, detailed, clean lines, illustration style

具体的なプロンプト例：

  1. アニメ調の女性キャラクター
1girl, young female, anime style, cute face, [髪型/色], [服装], full body, standing pose, front facing, white background, high quality, detailed illustration
Negative prompt: bad anatomy, bad hands, missing fingers, extra digits, fewer digits, blurry, gross proportions
  1. より詳細な指定
1girl, young female, anime style, [eye color], [hair style], [hair color], [clothing details], neutral expression, full body, T-pose, front view, clean background, high resolution, detailed illustration, professional lighting
Negative prompt: bad anatomy, bad proportions, blurry, low quality, noisy

設定のポイント：

  1. 画像サイズ
  • 縦長: 512×768 や 640×960
  • アスペクト比: 2:3 程度
  1. その他パラメータ
  • CFG Scale: 7-11
  • Steps: 30-50
  • Sampler: Euler a または DPM++ 2M Karras

より良い結果を得るためのTips：

  1. スタイルの指定
  • "anime style", "manga style", "illustration style" など
  1. 品質関連の指定
  • "masterpiece"
  • "best quality"
  • "highly detailed"
  1. ポーズの指定
  • "simple standing pose"
  • "T-pose"
  • "neutral pose"
  1. 表情のバリエーション
    基本プロンプトに以下を追加:
  • 笑顔: "happy, smiling"
  • 怒り: "angry expression"
  • 悲しみ: "sad expression"
  • 驚き: "surprised expression"
  1. LoRA/Embeddings
  • アニメ調の立ち絵に適したLoRAを使用
  • キャラクターの一貫性を保つためにEmbeddingsを活用

注意点：

  • 生成結果は試行錯誤が必要
  • プロンプトは徐々に調整
  • 良い結果が出たら設定を保存

これらの設定を基本に、目的に合わせて調整することをお勧めします。

口パクや瞬きをするには、同じサイズの同じ画像で口だけ開閉や目だけ開閉の絵のパターンが必要ですが、それはどうやって支持したらいいのですか。

同じキャラクターで口や目だけを変えた画像を生成するには、以下のような方法があります：

  1. img2imgを使用する方法
  • 基本の立ち絵を生成後、それをベースにimg2imgで処理
  • Denoising strengthを低め（0.2-0.4）に設定
  • プロンプトに表情の変化を明確に指定

プロンプト例（目を閉じたバージョン）:

1girl, same character, closed eyes, closed eyelids, sleeping face
[基本の立ち絵と同じ他の特徴]

Negative prompt: open eyes, looking at viewer

プロンプト例（口を開けたバージョン）:

1girl, same character, open mouth, talking, speaking
[基本の立ち絵と同じ他の特徴]

Negative prompt: closed mouth
  1. ControlNetを使用する方法
  • OpenPoseやDepth modelを使用
  • 基本の立ち絵のポーズを維持しながら表情だけ変更
  1. Regional Promptingを使用する方法
  • 顔の部分だけに異なるプロンプトを適用
  • 他の部分は完全に同じに保持

実践的なワークフロー：

  1. まず基本となる立ち絵を生成
  2. 生成に使用したseed値を保存
  3. 同じseed値を使用しながら、以下のバリエーションを生成：
    • 目：開いた状態、半開き、完全に閉じた状態
    • 口：閉じた状態、半開き、開いた状態

注意点：

  • 完全に同一のポーズと特徴を維持するのは難しい
  • 複数回の生成と試行錯誤が必要
  • 生成後に画像編集ソフトで微調整が必要な場合もある

より確実な方法：

  1. 基本の立ち絵を生成
  2. Photoshopなどで目と口の部分を別レイヤーとして切り出し
  3. 切り出した部分だけをimg2imgで処理
  4. 生成した各パーツを元の画像に合成

これにより、より制御された表情の変化を作成できます。

img2imgやControlNetを使用して口パクする方法をもっと詳しく教えて

img2imgとControlNetを使用して口パクを作成する詳細な手順を説明します：

  1. img2imgを使用する方法：

基本設定：

  • Denoising strength: 0.2-0.35（低めに設定）
  • CFG Scale: 7-8
  • Steps: 20-30
  • Sampler: Euler a または DPM++ 2M Karras

口の状態ごとのプロンプト：

閉じた口（デフォルト）：
1girl, same character, closed mouth, neutral expression
Negative prompt: open mouth, talking

半開きの口：
1girl, same character, slightly open mouth, parted lips
Negative prompt: closed mouth, wide open mouth

開いた口：
1girl, same character, open mouth, talking
Negative prompt: closed mouth
  1. ControlNetを使用する方法：

設定：

  • ControlNet Model: openpose（推奨）
  • Control Weight: 0.8-1.0
  • Control Mode: Balanced
  • Preprocessor: openpose_face

手順：

  1. 基本立ち絵のopenposeデータを取得
  2. そのデータを保存
  3. 同じopenposeデータを使いながら、以下のプロンプトで各表情を生成

プロンプト例：

基本形：
masterpiece, best quality, 1girl, [キャラクター詳細], standing pose, front view, closed mouth
Negative prompt: bad anatomy, bad hands, blurry

口開き：
masterpiece, best quality, 1girl, [キャラクター詳細], standing pose, front view, open mouth, talking
Negative prompt: bad anatomy, bad hands, blurry, closed mouth
  1. より精密な制御のための組み合わせ方法：

A. ControlNet + Regional Promptingの組み合わせ：

基本プロンプト全体に：
masterpiece, best quality, 1girl, [キャラクター詳細]

顔領域にのみ：
open mouth, talking, detailed mouth, lip focus

B. Multiple ControlNet：

  • ControlNet 1: openpose（ポーズ維持）
  • ControlNet 2: canny（エッジ維持）

  1. 実践的なワークフロー：

  2. 基本画像の生成

- 高品質な基本立ち絵を生成
- seed値を記録
- 画像のパラメータを保存
  1. 口パクバリエーションの生成
- img2imgで基本画像を入力
- ControlNetで姿勢を固定
- 口の状態だけを変えるプロンプトを使用
- 各状態（閉じ・半開き・開）を生成
  1. 品質管理のためのチェックポイント：
  • 顔以外の部分が変化していないか
  • 口の形が自然か
  • 全体的な品質が保たれているか

追加のTips：

  1. タイレクトな制御のために：
  • face_id embeddings の使用
  • キャラクターに特化したLoRAの活用
  1. 口の形状をより明確に指定：
プロンプトに追加：
detailed mouth, clear lip shape, precise facial features
  1. 安定性を高めるための設定：
  • Clip Skip: 2
  • VAE: stable-diffusion-1.5-pruned.vae.pt
  1. 問題が発生した場合の対処：
  • Denoising strengthを更に下げる
  • プロンプトの重みづけを調整
  • ControlNetの重みを微調整

これらの設定や手順を組み合わせることで、より精密な口パクアニメーションのための画像生成が可能になります。

stable diffusion 以外のAIで方法はありますか

はい、以下のような代替手段があります：

  1. Midjourney
  • アニメ調の品質が向上
  • コマンドベースで操作
例：/imagine prompt: anime character, standing pose, talking expression --style anime --version 6

ただし、完全に同一キャラクターでの表情変更は難しい

  1. NovelAI
  • アニメ特化型AI
  • 表情のバリエーション生成が得意
  • キャラクターの一貫性が高い
  1. Nijijourney
  • アニメ・マンガに特化
  • Midjourneyの派生版
  • 日本のアニメ調に適している
  1. Dall-E 3
  • 高品質な画像生成
  • variations機能で類似画像生成
  • 編集機能でパーツ変更可能
  1. Leonardo.ai
  • キャラクターの一貫性が高い
  • トレーニング機能あり
  • 商用利用しやすい
  1. Character.ai
  • キャラクター特化型
  • 表情のバリエーション生成が得意
  1. Pika Labs
  • 動画生成AI
  • アニメーション作成可能

特徴的な専用ツール：

  1. VTuber用AI
  • VRoid Studio
  • Live2D Cubism
  1. アニメ特化型ツール
  • Waifu Labs
  • Crypko

選択のポイント：

  1. 用途による選択
  • 商用利用の場合：Leonardo.ai
  • 個人利用：NovelAI
  • アニメ特化：Nijijourney
  1. 必要な機能
  • 表情変更の精度
  • キャラクターの一貫性
  • 編集のしやすさ
  1. コスト
  • 無料オプション
  • サブスクリプション
  • 利用制限
  1. 使いやすさ
  • UIの直感性
  • 学習曲線
  • 出力の安定性

これらのツールを目的に応じて選択・組み合わせることで、効果的な立ち絵作成が可能です。

Discussion