😸
Sora2の参照画像をうまく使う方法
どうやってキャラクター性を保持して動画生成するかを調査したのでまとめ
ポイント
まず、参照画像を用意する。ポイントは以下。
- キャラ性を担保するなら三面図が良い
- 例えば以下の紫髪のキャラだと、正面から見るとポニーテールかどうかわからないため
- 作る動画のサイズに合わせる
- アスペクト比は16:9（or 9:16）
そしてプロンプトのコツは以下。
- 細かい情報はプロンプトに含める
- 例えば、先程のキャラだと、ヘアピンの形が「AI」という文字になっているが、参照画像では小さすぎて無視されがちなのでその説明を細かく入れておくと良い。
- 「キャラクターシートは参照のみで、動画には含めない」という文章を入れる。こうすることで、一瞬だけその画像が写ってすぐに動画が始まるようになる。
初期フレームが参照画像になってしまうのはどうしようもないので、必要に応じて画像編集ツールで削除する。
注意点
渡した画像のアスペクト比が正しくないと、見切れた部分は適切に読み込まれなくなってしまう。
例えば、以下の横長の画像から縦動画を作成すると、実際に動画に参照されるのは、真ん中の部分のみ（このイラストだとSoratomoというロゴのみ）になってしまうので、左右のキャラは無視されてしまう。
以下のツイートの2つめが上手くいった横動画の例、3つめが失敗している縦動画の例
もちろん、縦動画で成功させたいなら、縦動画用のものを用意すれば良い。
Discussion