🐙

Stable Video 3Dで色々な動画を作成してみた

2024/03/24に公開

npakaさんの以下の記事を見て、色々な動画を試してみました。
https://note.com/npaka/n/n0e23a3981671

Google Colabで出来るのでやり方は上の記事を見てください。

サンプル画像

入力

出力

本当はMP4で出てきます。いい感じですね。まぁサンプルですもんね。

デグー(私のペット)の動画

入力

出力

おお・・まぁ頑張ってる。片目が裏側にあるのを推測するのは難しかったか。なるべく正面の絵が良さそう。

ずんだもん(2D絵)

入力

出力

ちょっと乱れているけど、そもそも2D絵から3D絵を推測すると言う無茶振りに対してこれも頑張っている気がする。
裏側はともかく、正面部分の3D化についてはかなり良い。

ずんだもん(フィギュア)

入力

出力

おお、これはすごい。ちょっと後ろ髪に寝癖がついてるけど、ほぼ完璧では!?

結果

  • 「元が3Dの物を正面視で写真にしたもの」の復元に向いてそう
  • 2D絵も表側の推測はかなり良い。
  • 裏側が無理気味なのは当たり前なので、表画像+裏画像の両方が入力として使えるように進化すれば完全復元も夢ではないかも。(無責任な期待)

Discussion