🐰

うさぎでもわかるFramePack-eichi入門 - キーフレーム設定で動画生成を極める

に公開

うさぎでもわかるFramePack-eichi入門

はじめに

みなさん、こんにちは!今回は最近話題の動画生成AIツール「FramePack-eichi」について詳しく解説していくよ!

ローカルAI動画生成の世界が大きく進化しています。Stable Diffusionが画像生成に革命を起こしたように、今度は動画生成の分野でも優れたツールが次々と登場しています。その中でも特に注目を集めているのがFramePack-eichiです。

FramePack-eichiは、シンプルな画像から自然な動きのアニメーションを簡単に作成できる強力なツールです。今回の記事では、FramePack-eichiの中でも特に重要な「キーフレーム」の設定方法や、複数セクションを使った動画生成のテクニックを中心に解説していきます。

AIによる動画生成に興味がある人も、すでにFramePackを使っているけどもっと使いこなしたい人も、この記事を読めばFramePack-eichiの活用方法がバッチリわかるはずです!

FramePack-eichiの概要

FramePackとFramePack-eichiの関係

まず、FramePackとFramePack-eichiの関係について説明しておくね。

FramePackは、lllyasviel氏によって開発された元祖ローカル動画生成AIツールです。1枚の画像とプロンプトから短い動画を生成できる優れたツールでした。

それに対して、FramePack-eichiは、nirvash氏によるフォークをベースに、git-ai-code氏が開発した機能拡張版です。名前の「eichi」は「Endframe Image CHain Interface」の略で、日本語の「叡智」(深い知恵、英知)を連想させる命名になっています。

FramePack-eichiには、キーフレームのコントロール機能やLoRA対応など、様々な機能が追加されており、より柔軟で高度な動画生成が可能になっています。

主な機能と特徴

FramePack-eichiの主な機能は以下の通りです:

  • 多言語対応 - 日本語、英語、繁体字中国語のUIをサポート
  • 柔軟な動画長設定 - 1〜20秒の各セクションモードに対応
  • セクションフレームサイズ設定 - 0.5秒モードと1秒モードを切り替え可能
  • オールパディング機能 - すべてのセクションで同じパディング値を使用可能
  • マルチセクション対応 - 複数のセクションで異なるキーフレーム画像を指定可能
  • セクションごとのプロンプト設定 - 各セクションに個別のプロンプトを指定可能
  • 赤枠/青枠によるキーフレーム画像コピー機能 - 2つのキーフレームだけで全セクションをカバー可能
  • テンソルデータの保存と結合 - 動画の潜在表現を保存し、複数の動画を結合可能

システム要件

FramePack-eichiを快適に使うためのシステム要件は以下の通りです:

  • OS: Windows 10/11(Linux/Macでも基本機能は動作可能)
  • GPU: NVIDIA GPU (RTX 30/40シリーズ推奨、最低8GB VRAM)
  • ソフトウェア: CUDA Toolkit 12.6、Python 3.10.x
  • 容量: 約30GB(モデルファイル)

ただし、EasyWanVideo版を使えば、よりシンプルに導入することもできます。

キーフレームを使った動画生成

FramePack-eichiの最大の特徴は、複数のキーフレームを使用して動画を生成できることです。ここでは、キーフレームの概念とその設定方法について詳しく説明します。

キーフレームの概念

キーフレームとは、アニメーションや動画編集において、特定の時点でのオブジェクトの状態(位置、サイズ、回転など)を記録するための基準点です。

FramePack-eichiでは、動画の開始画像(必須)と終了画像(オプション)に加えて、中間のキーフレームを設定することができます。これにより、動画の流れをより細かくコントロールすることが可能になります。

FramePack-eichiのキーフレーム構造

キーフレームの設定方法

キーフレームを設定する基本的な手順は以下の通りです:

  1. 開始画像を「Image」枠にアップロード(必須)
  2. 終了画像を「Final Frame (Optional)」枠にアップロード(任意)
  3. 「セクション設定」を開いて、各セクションに中間キーフレーム画像を設定

注意点として、セクション設定は「逆順表示」になっています。セクション0に読み込ませた画像は、動画の最後の方で使用されます。

動画の長さと各種パラメータの調整

動画の長さと各種パラメータを調整することで、より自分の意図した動画を生成することができます。

FramePack-eichiのセッション設定

動画長の設定:
FramePack-eichiでは、1秒〜20秒の範囲で動画長を選択できます。選択した秒数によって、使用できるキーフレームの数が変わります。

セクションフレームサイズ:
セクションフレームサイズは、0.5秒(17フレーム)と1秒(33フレーム)から選択できます。0.5秒モードでは、より滑らかな動きが得られますが、その分処理が複雑になります。

オールパディング機能:
オールパディング機能をオンにすると、すべてのセクションで同じパディング値を使用できます。値が小さいほど1セクションでの動きが激しくなり、大きいほど変化が穏やかになります。

複数キーフレームの活用方法

複数のキーフレームを効果的に活用することで、より複雑で自然な動きの動画を生成できます。

短い動画での活用:
6秒以下の短い動画では、1〜2枚のキーフレームを使うことで、シンプルながらも効果的な動きを表現できます。

長い動画での活用:
16秒や20秒などの長い動画では、複数のキーフレームを使うことで、ストーリー性のある複雑な動きを表現可能です。

セッション設定の活用

セッション設定を活用することで、FramePack-eichiの真の力を引き出すことができます。ここでは、セッション設定の詳細と効果的な活用方法について説明します。

セクションフレームサイズの設定

セクションフレームサイズは、各セクションに含まれるフレーム数を決定する重要な設定です。

0.5秒モード (17フレーム):

  • より滑らかな動きが必要な場合に適しています
  • 特に細かい動きや表情の変化を表現したい場合に有効
  • 計算量が多くなるため、処理時間が長くなる傾向があります

1秒モード (33フレーム):

  • 標準設定で、多くの用途に適しています
  • バランスの取れた動きと処理速度を提供
  • 一般的な動画生成には十分な品質です

プロンプトの効果的な記述方法

プロンプトは動画の内容を決定する重要な要素です。効果的なプロンプトを記述するためのポイントを紹介します。

基本的なプロンプト構造:

A character [action], [details about movement], [environment], [style]

例:

A girl dancing gracefully in a classroom, wearing a school uniform, spinning around, natural lighting, detailed

セクションごとのプロンプト:
各セクションに個別のプロンプトを設定することで、動画の流れをさらに細かくコントロールできます。例えば、最初のセクションでは「笑顔で立っている」、次のセクションでは「手を振っている」など、動作の変化を表現できます。

オールパディング機能の使い方

オールパディング機能は、動画の滑らかさとダイナミックさを調整するための機能です。

パディング値の効果:

  • 小さい値(0.2〜0.5): 変化が大きく、ダイナミックな動きになります
  • 中間値(0.5〜1.5): バランスの取れた自然な動きになります(推奨)
  • 大きい値(1.5〜3.0): 変化が穏やかで、静かな動きになります

これを調整することで、キャラクターの動きの激しさや滑らかさをコントロールできます。

赤枠/青枠によるキーフレーム画像コピー機能

v1.7で追加された赤枠/青枠によるキーフレーム画像コピー機能は、長時間動画を簡単に作成するための強力な機能です。

FramePack-eichiのキーフレームコピー機能

機能の概要:

  • 赤枠(セクション0)に設定した画像→すべての偶数番号セクション(0,2,4,6...)に自動コピー
  • 青枠(セクション1)に設定した画像→すべての奇数番号セクション(1,3,5,7...)に自動コピー

設定方法:

  1. 動画長を選択(6秒以上がおすすめ)
  2. 「セクション設定」を開き、セクション0(赤枠)と1(青枠)に画像をアップロード
  3. 「キーフレーム自動コピー」をオンにする
  4. 動画を生成すると、自動的に赤枠/青枠の画像が対応するセクションにコピーされる

これにより、20秒の長い動画でも、わずか2枚の画像だけで作成することができます。動画中盤で変化を付けたい場合は、特定のセクションだけ個別に画像を設定することも可能です。

高度な機能

ここでは、FramePack-eichiのより高度な機能について説明します。これらの機能を使いこなすことで、さらに表現の幅が広がります。

テンソルデータの保存と結合

v1.8で追加されたテンソルデータの保存と結合機能は、長時間の動画を分割して生成し、後から結合することができる画期的な機能です。

テンソルデータ保存機能の使い方:

  1. 通常の動画生成設定を行う
  2. 「テンソルデータを保存」チェックボックスをオンにする
  3. 「Start Generation」ボタンをクリックして動画を生成
  4. 生成完了時に動画(.mp4)と一緒にテンソルデータ(.safetensors)が保存される

テンソルデータ結合機能の使い方:

  1. 「テンソルデータアップロード」欄から保存済みの.safetensorsファイルをアップロード
  2. 通常通り画像とプロンプトを設定し、「Start Generation」ボタンをクリック
  3. 新規動画の生成後、アップロードしたテンソルデータを「後方(末尾)」に結合した動画が自動的に生成される
  4. 結合された動画は「元のファイル名_combined.mp4」として保存される

この機能を使うことで、GPUのメモリ制約を超える長い動画を複数のセッションに分けて生成したり、以前に生成した動画に新しいシーンを追加したりすることができます。

LoRA機能の使い方

FramePack-eichiでは、Hunyuan LoRAをサポートしています。これにより、モデルをカスタマイズして独自の表現を追加することができます。

LoRA設定方法:

  1. 「LoRA設定」チェックボックスをオンにする
  2. LoRAファイルをアップロード
  3. LoRAの強度を調整(0.1〜1.0の範囲)

注意点としては、LoRA機能はまだ試験実装中であり、特に高VRAMモードと低VRAMモードで動作が異なる場合があります。VRAM16GB以上のGPUでの使用が推奨されています。

出力設定のカスタマイズ

出力設定をカスタマイズすることで、生成される動画の品質やファイルサイズをコントロールできます。

重要な出力設定:

  • MP4圧縮: 値が小さいほど高画質、大きいほどファイルサイズが小さく(16が標準)
  • 完了時にセクションごとの動画を残す: 各セクションの動画も保存するかどうか
  • 完了時にテンソルデータも保存: .safetensorsファイルも保存するかどうか
  • セクション静止画保存: 各セクションの最終フレームを画像として保存するかどうか

また、出力フォルダ名を指定することで、生成した動画の保存先を管理することもできます。

最適なパラメータ設定のコツ

FramePack-eichiで高品質な動画を生成するための最適なパラメータ設定のコツを紹介します。

汎用的な推奨設定:

  • 生成モード: 通常モード(一般的な用途)
  • セクションフレームサイズ: 1秒モード(処理速度と品質のバランス)
  • オールパディング: 1.0前後(自然な動きのバランス)
  • 動画長: 6秒(多くの用途に適した長さ)
  • TeaCache: オン(処理速度優先)
  • MP4圧縮: 16(標準設定)

高品質動画向け設定:

  • セクションフレームサイズ: 0.5秒モード(滑らかな動き)
  • オールパディング: 0.8(やや活発な動き)
  • 動画長: 10秒以上(余裕を持った表現)
  • TeaCache: オフ(品質優先)
  • MP4圧縮: 8(高品質)

まとめ

FramePack-eichiは、単一画像からの動画生成という基本機能を超え、キーフレーム制御や赤枠/青枠コピー機能、テンソルデータの保存と結合など、より高度で柔軟な動画生成を可能にするツールへと進化しています。

この記事では、FramePack-eichiのキーフレーム設定とセッション設定に焦点を当てて解説しましたが、これらの機能を使いこなすことで、あなたの創造性を存分に表現することができるでしょう。

AIによる動画生成はまだ発展途上の技術ですが、FramePack-eichiのような革新的なツールによって、クリエイターの表現の幅はますます広がっています。ぜひこの記事を参考に、自分だけのユニークな動画作品を生み出してみてください!

最後に、FramePack-eichiを開発したgit-ai-code氏、そして原作のFramePackを開発したlllyasviel氏とnirvash氏に感謝の意を表します。

参考リソース

Discussion