Zenn
🎨

【Searge_LLM】ComfyUIでローカルLLMを活用したプロンプト生成

2024/11/04に公開
Ubuntu
LLM
ComfyUI
ローカル LLM
tech

はじめに

近年、画像生成AIの進化により、より精緻なプロンプト制御が求められています。今回は、ComfyUIにSearge LLMを導入し、ローカルLLMを活用した効率的なプロンプト生成方法をご紹介します。

ComfyUI_Searge_LLMは、Windows環境での動作を主にテストされていますが、Ubuntu環境でもpip install llama-cpp-pythonを手動でインストールすることで利用可能です。

Searge LLMの特徴

  • ローカル環境でLLMを実行可能
  • プライバシーを確保しながらプロンプト生成
  • 低レイテンシーな応答
  • カスタマイズ可能なinstructions設定
  • メモリ効率の良い実装（最低16GB RAM推奨）

Dynamic PromptsとSearge LLMの違い

  • Dynamic Prompts: ユーザーが設定した選択肢や組み合わせをもとに、ランダム性を持たせたプロンプトを生成します

  • Searge LLM: 言語モデルの力を借りて、入力テキストから自動的に詳細なプロンプトを生成・改善します

使用モデル情報

  • 画像生成モデル：flux1-dev-fp8.safetensors
  • LLMモデル：Mistral-7B-Instruct-v0.3.Q4_K_M.gguf
  • VRAM要件：16GB以上

環境構築

必要な環境

  • Ubuntu OS
  • ComfyUI（インストール済み）
  • 最低16GBのRAM

Searge LLMのインストール手順

ComfyUI ManagerからでもComfyUI_Searge_LLMをインストールできます。
LLMモデルはllm_ggufフォルダを作成して、そこにモデルを置きます。

# カスタムノードのインストール
cd ComfyUI/custom_nodes
git clone https://github.com/SeargeDP/ComfyUI_Searge_LLM

# モデルのダウンロード
cd ../models
mkdir llm_gguf
cd llm_gguf
wget https://huggingface.co/MaziyarPanahi/Mistral-7B-Instruct-v0.3-GGUF/resolve/main/Mistral-7B-Instruct-v0.3.Q4_K_M.gguf

# 必要なパッケージのインストール
pip install llama-cpp-python

効果的なプロンプト設計

Searge LLMノードにプロンプトを記入します。

パラメータの説明はGitHubリポジトリに記載されています。

Searge_LLM_Node機能を最大限に活用するには、ComfyUI プロジェクト内で必要なパラメータを設定します。

  • text: 言語モデルが処理する入力テキスト。
  • modelmodels/llm_gguf:使用したいモデルのディレクトリ名。
  • max_tokens: 生成されるテキストのトークンの最大数。必要に応じて調整可能です。
  • apply_instructions:
  • instructions: 言語モデルがプロンプトを生成するための指示。 入力{prompt}からプロンプトを挿入するためのプレースホルダーをサポートしますtext。 例: Generate a prompt from "{prompt}"

Instructions設定例

You are an expert anime character designer. Create a detailed prompt following these rules:

REQUIRED FORMAT:
1girl, [CHARACTER FEATURES], [POSE], [EMOTION], [CAMERA ANGLE], Flux style, [QUALITY TAGS]

CHARACTER FEATURES:
- Traditional Japanese school uniform
- Long black hair with red ribbon
- Amber eyes
- Slender build

RULES:
- Keep character features consistent
- Focus on dynamic poses and expressions
- Include one camera angle
- Add essential quality tags
- Output as single line
- Maximum 100 words

テキストフィールド入力例

# 和風テイスト
Generate a pose showing traditional Japanese tea ceremony movements

# アクション性
Generate a pose performing kendo practice with determined expression

# 日常シーン
Generate a pose arranging flowers in ikebana style

出力プロンプト例

1girl, traditional Japanese school uniform, long black hair with red ribbon, amber eyes, slender build, gracefully arranging flowers with focused expression, slight lean forward, side view angle, Flux style, masterpiece, best quality, detailed lighting, authentic atmosphere

まとめ

ローカルLLMを活用することで、より柔軟で効率的なプロンプト生成が可能になります。Searge LLMは、Dynamic Promptsとは異なるプロンプト制御を実現します。

今後の展望として、さらなるモデルの最適化や新機能の追加が期待されます。ぜひ、みなさんも試してみてください。

Discussion