はじめに
文章生成AIや画像生成AIだけでなく、動画生成AIもこの1ヶ月程度でかなり発展が見られる分野になります。少し前には、既に一般ユーザーが利用可能な動画生成AIとしてLuma AIの提供が開始されました。
そして、数日前にLuma AIに続いて利用可能な動画生成AIとしてRunwayから新たなモデルであるGen-3 Alphaの提供が開始されたため、試してみたいと思います。
早速、Runway Gen-3 Alphaを試してみる。
RunwayのGen-3 Alphaは、Runwayのサイトから利用が可能です。現状はAPIでの提供などはなく、画面から利用する形となります。
なお、現状最新版であるGen-3 Alphaのモデルは有料ユーザーのみが利用可能のようです。
利用するために課金しましたが、料金は$15 / 月となっていました。（円安が辛い・・・）
利用は非常に簡単で、有料プランに契約するとこちらのURLの以下ボタンから利用が可能です。
まずは簡単なプロンプトで試してみます。
A dog is walking on the beach.
おおよそ、1~2分待つと5秒の動画が完成しました。完成形は以下のようになります。
少し歩き方に違和感はありますが、1分で作れる映像としてはなかなか良いのではないでしょうか。現状、作成する動画は5秒, 10秒のいずれかの選択が可能となっています。
動画生成のプロンプトを改善してみる
生成AIを活用するうえでの重要なポイントのひとつに プロンプトエンジニアリングがあります。
先ほど作成した動画のプロンプトを改善して、出力の変化をみてみようと思います。RunwayはGPT-3 Alphaで動画生成を行うためのプロンプトガイドを提供しているため、その内容をもとに改善します。
Runway GPT-3 Alpha プロンプトエンジニアリングのポイント
詳しい内容は元文書をご確認いただければと思うので、要点だけ以下にまとめます。
ベースとなるプロンプトのフォーマット
[camera movement - カメラの動き]: [establishing scene - シーンの設定]. [additional details - 追加の詳細].
上記のフォーマットに従うのが良いとのことです。さらに、プロンプトを作成する際には「プロンプトはシーンに何が含まれるべきかに焦点を当てる」必要があるとのことでした。例えば、「雲のない空」ではなく「晴れた空」をプロンプトに記述すると良いとのことです。
一貫したプロンプト設計
プロンプトに含める内容は全体のプロンプトと一貫していることで、より良い出力が得られやすいとのことでした。広角なアングルの場合は、バックグラウンドや環境に関連する情報を追加して、クローズアップしたアングルを作りたい場合はより細かい情報をプロンプトに追加することが有益になるようでした。
改善したプロンプトで動画を作ってみる
上記の内容を参考に、改善したプロンプトは以下になります。今回は検証のため、上記のプロンプトエンジニアリングのコツをもとにGPTに作成してもらいました。
Low angle tracking shot: A dog with golden fur walks along a serene beach at sunrise. The soft light of the early morning sun casts long shadows and gives the scene a warm, golden glow. The camera follows the dog closely as it leaves paw prints in the wet sand. Gentle waves lap at the shore, and seagulls can be seen flying in the distance. Camera Movement: The shot begins with a close-up of the dog's paws in the sand, then slowly pulls back to reveal the expansive beach and the calming ocean.
作成された動画は以下です。
違和感が減って、出力が良くなったように見えます！より明確なアウトプットイメージがあればプロンプトを改善すれば近づけることができそうです。
アニメ風も試してみる
これまでは現実に近い動画で試してみましたが、今度はアニメ風も試してみます。
Wide-angle tracking shot: A golden retriever walks along a sunny beach in a PixaJapanese classic comic style. The camera follows the dog, capturing playful waves, colorful beach umbrellas, and sandcastles. Camera Movement: Smoothly tracking the dog's movements.
少し映像が崩れている部分もありますが、アニメっぽい動画も問題なく作成することができました。
まとめ
生成AI技術のなかでも比較的新しい分野である動画生成AIのRunway Gen-3を試してみました。
現状はAIで作成した動画をそのまま利用することは、出力が安定しないことなどの理由から難しいように感じます。
ただ、一方でトイザラスが自社のCMにOpenAI Soraを利用した映像を提供するなど、編集を前提とした利用は広がってきています（動画生成AIの映像を利用することにネガティブな反応も一定ありましたが、、、）。
企業が行う映像などのクリエイティブ作成はかなりコストが高い分野であるため、うまく生成AIを利用できると業務効果は大きくなりそうです、今後も活用の幅を探っていきたいと思います。
Discussion