📽️
StreamDiffusionでVideo2Video(Google Colab)
StreamDiffusion
StreamDiffusionで画像生成がめっちゃ速くできるということなので、久しぶりに試してみました。
速度を活かした活用ということでV2V（Video-to-Video、いわゆる動画から動画への変換）を試してみました。
ローカルでもよいのですが、手元にマシンがない環境だったこともありGoogle Colabで試してみました。
ローカルで動かす場合は、以下記事参照ください。
Google ColabでStreamDiffusion
いつものnpakaさんの記事で一発かなと思いきや、どうもモデルのダウンロードが一向に進みません。
色々バージョンアップ速そうなので、その影響かなと思い一旦諦めて公式READMEのチュートリアルどおりにColabのノートブックを作り直しました。
注意点は以下です。
- ライブラリをインストールしたあとに、Colabの「ランタイム→セッションの再起動」が必要
- プロンプトはexamples/vid2vid/main.pyをColab上で直接編集
- 動画は正方形にする
動画の正方形
動画を正方形にするのは、iPhoneアプリの「VITA」というアプリが手軽でした。
動画は正方形以外だとエラーになる問題、issueやPullRequestはありましたが、参考にして修正したものの、すぐにはうまく動かせず諦めました。
サイズによってはダメという情報もあるようです
変換した動画
こんな感じです。変換時間は25秒程度の動画だと、数分といった印象です。長い動画でも変換できそうですね。
クオリティは、素材とパラメータに左右されそうですね。シンプルな素材でパラメータつめればそれなりに使えそうな気もします。
まとめ
StremDiffusion試してみました。画像生成がこれだけ速くなりリアルタイム生成できると、色々応用例が広がりそうだなと思いました。画像生成しばらく触ってませんでしたが、色々試してみたいですね。
参考リンク
Discussion