企画ページ②：Vrewを使ってAIアバター動画を作ってみる

目的

以前に企画ページ①：AIやらプログラムを使って創作活動をしようということをやったのですが、その後本来であれば、画像生成で「AIで作った画像にうまく連続性を持たせることで複数の画像から一つのストーリーを作り出す」をやりたかったのですが、何度かトライしても上手くできませんでした。

そこで、ちょっと趣旨を変えて、別のパターンの動画を作ろうと思います。
今回は、タイトルの通り、アバター動画です。VTuberになります。（嘘です）

やりたいこと

Vrewという、動画作成ツールを最近、よく目にします。

AI週間天気予報の作り方！ChatGPT-4o＋Vrewのようなサイトを見る限り、結構簡単に動画が作れてしまうのではないか。
そう思って、何の動画作成・編集知識もないのに、チャレンジしてみました。

とりあえず作ったもの

AIアバターに話させるには、ネタがないといけません。
で、私が出せるネタなんて、AIとかデータサイエンスくらいしかありません。

そこで、「データサイエンティストを目指して、Pythonの学習を始めよう！」と題して、コラボの基本的な使い方を説明する４分ほどの動画を作成しました。

https://youtu.be/mFEbpiyG74k

作成手順

まだ、どういう手順がいいのか正解が分からないですが、今回やってみた手順です。

企業勤めしていた際に、ソフトウェアの使い方などをマニュアルにおこすのではなく、動画で操作画面を取って共有していたことがあり、それを思い出して活用してみました。

Vrewも無償版ですし、それ以外に用いているツールもWindows標準搭載のものばかりです。

まずは基にする操作動画の撮影

1. SnippingToolで、動画モードを選んで、操作するブラウザを選択します
2. ブラウザ上で、Colabの起動や実際のプログラム作成などを、口頭で解説しながら撮影します
   この時点では、11分くらいの動画でした
3. Windowsに標準搭載のClipchampで、音声と動画をわけます
   基本的に自分の音声は使いたくないので、最終的な動画ではVrewに搭載されているAI音声の中でFreeのものから気に入ったものを選びました

音声から原稿を作成

1. 切り分けた音声ファイルを文字起こし
   ここが今回の唯一のプログラミングポイント。
   まあ、音声の文字起こしツールとかありそうですが、パッと見つけられなかったので、Whisperを使いました。精度はかなり良かったです。

!pip install git+https://github.com/openai/whisper.git

import whisper
model = whisper.load_model("base")
result = model.transcribe("/content/voice.mp3")
print(result["text"])

2. テキストの整形
   文字起こしが完璧ではないのと、私の喋りがへたくそで、意味が通りづらいものもあったので、それらをChatGPTに貼り付けて、「次の内容を、適度に改行しつつ、原文を活かしながら推敲してください。」と指示を出すと、かなりいい感じで整形してくれました。

あとは、Vrewに入れながら、不要な表現を削っていきます。

Vrewで動画作成

たぶん、Vrewの機能については、１０％も使いこなせていません。
なので、操作方法は、他の素晴らしいサイトを参考にしてください。

私が行ったのは、次のようなものです
①作成した原稿を適度な単位に分けて、右側の「クリップ」と呼ばれる部分に貼り付ける。その後、AI音声化を行う
②キャラクターを持ってきて、「音声分析に合わせ口を動かす」をチェック
キャラクターは、色々いましたが、私の好きなペンギンにしました
③音声を消した動画を、各クリップに挿入し、「ビデオの始まりを変更」することで、クリップのテキスト内容とあった部分を再生する

VrewがAIで画像をつくったり、音声分析したり、翻訳をしたりといった機能もあるようなのですが、それらは今回は使いませんでした。

まとめ

こんな感じで、約3時間くらいでしょうか。色々格闘して、上記の4分の動画になりました。

元々11分あったのに、がっつり削れてますね。しかも、内容はほぼカバーしているので、どれだけ私の操作画面の動画が無駄が多かったかがわかりません。（すみません、以前の職場の皆さん。。。）

そして、動画を作成するってこんなに大変なのだと、改めて知りました。
いつも、長い動画をアップロードされているYouTuberの皆さん、尊敬いたします。

今回は練習でVrewも無償版で作成したので、動画の左上に「VREW」のロゴが残ってしまっていますが、本格的にPython学習動画とかも作っていきたいなと思いました。

とはいえ、今のままだと、あまりに効率が悪いので、もう少し上手く作れるように勉強していきます。

ぜひ、動画見ていただき、Vrewの上手い使い方＆動画はこういう内容にした方がいいよ、といったコメントよろしくお願いします。