StreamDiffusionでVideo2Video(Google Colab)

StreamDiffusion

StreamDiffusionで画像生成がめっちゃ速くできるということなので、久しぶりに試してみました。

https://github.com/cumulo-autumn/StreamDiffusion

速度を活かした活用ということでV2V（Video-to-Video、いわゆる動画から動画への変換）を試してみました。

ローカルでもよいのですが、手元にマシンがない環境だったこともありGoogle Colabで試してみました。

ローカルで動かす場合は、以下記事参照ください。
https://zenn.dev/karaage0703/articles/0616dc52aa7b6f

Google ColabでStreamDiffusion

いつものnpakaさんの記事で一発かなと思いきや、どうもモデルのダウンロードが一向に進みません。

https://note.com/npaka/n/n4cb9a2d9fd72

色々バージョンアップ速そうなので、その影響かなと思い一旦諦めて公式READMEのチュートリアルどおりにColabのノートブックを作り直しました。

https://github.com/karaage0703/stable-diffusion-colab-tools/blob/main/010_stream_diffusion_video2video.ipynb

注意点は以下です。

• ライブラリをインストールしたあとに、Colabの「ランタイム→セッションの再起動」が必要
• プロンプトはexamples/vid2vid/main.pyをColab上で直接編集
• 動画は正方形にする

動画の正方形

動画を正方形にするのは、iPhoneアプリの「VITA」というアプリが手軽でした。

動画は正方形以外だとエラーになる問題、issueやPullRequestはありましたが、参考にして修正したものの、すぐにはうまく動かせず諦めました。

サイズによってはダメという情報もあるようです

https://x.com/sangitankikai/status/1744180442092425427?s=20

変換した動画

こんな感じです。変換時間は25秒程度の動画だと、数分といった印象です。長い動画でも変換できそうですね。

https://x.com/karaage0703/status/1744051875304071519?s=20

クオリティは、素材とパラメータに左右されそうですね。シンプルな素材でパラメータつめればそれなりに使えそうな気もします。

まとめ

StremDiffusion試してみました。画像生成がこれだけ速くなりリアルタイム生成できると、色々応用例が広がりそうだなと思いました。画像生成しばらく触ってませんでしたが、色々試してみたいですね。

参考リンク

https://github.com/cumulo-autumn/StreamDiffusion/pull/79

https://github.com/cumulo-autumn/StreamDiffusion/issues/31