動画生成AIでSF映画を作ってみた

動画

普段妄想している「宇宙で孤独に灯台守をしている老人」の映画を、
生成AIで作ってみました。1分くらい。
https://youtu.be/WhfNzMWX-m0

使用した生成AIと設定

SoraとRunwayという2つの動画生成AIで、
同じプロンプトを使って30秒くらいずつ生成してみました。

①Sora

• プラン：Plus Plan（月20ドル）
• モデル：たぶん共通で1個しかない（テキストのみで動画生成可能）
• 画質：480p
• 長さ：10s
• フレームレート：デフォルトで30fps。
  ※変え方不明。ここに気を付けないと動画編集ソフトで合わせる時にカクカクする。
• 所感：すごいリアル。人物すごい。動きが静かな動画の方が物理的に整合性が取れそう。
• 備考：プロンプトによっては、シーンを切り分けて解釈する「Storyboard」を提案してくれる。（最初から使うこともできる。）50個くらい動画を作ったら1ヶ月の上限になる。

Storyboard機能の詳細

あるシーンを細かく分解して、より具体的に作らせることができます。

例えば 「風船を掴む女性」 の動画、という指示を、

1. 女性が公園で風船を見つける
2. 女性が風船に近づく
3. 女性が風船の下の紐を掴む
   というふうに分解して、この順番に動作する5秒の動画を作る、という感じ。

②Runway

• プラン：Standard Plan（月12ドル）
• モデル：Gen 3 Alpha（テキストのみで動画生成可能）
• 画質：1280 x 768
• フレームレート：デフォルトで30fps。
  ※変え方不明。ここに気を付けないと動画編集ソフトで合わせる時にカクカクする。
• 長さ：5s/10s
• 所感：すごいリアル。人物すごい。同じく動きが静かな動画の方が物理的に整合性が取れそう。
• 備考：プロンプトのトークン上限が1000までなので、生成したプロンプトをそのまま貼り付けると上限になっちゃうこともある。同じく50個くらい動画を作ったら上限になりそう。

使用したプロンプト

ChatGPTのo1-miniで、「Runwayで動画作る用のプロンプトを作れ」「灯台守の老人の設定はこれこれ」という感じで作らせました。自分でゼロから書いて作るより、ざっとAIにプロンプトを出させた方が、細かい設定とか考えてくれて良いです。

詳細はこちら。
https://chatgpt.com/share/6770e2ea-4714-8012-a250-3f273d97250a