記事の目的
最近流行りのAIツールは業務で活用するのはもちろん、普段の生活においてもとても便利です。昔の映像の解像度をFull HDにアップスケールしてみたり、映像のフレームレートを上げて滑らかにしたりしてみたい！と以前から思っており、Waifu2x-Extension-GUIなるツールを使って挑戦してみました。結果は高品質で、無料でできるとは思えないクオリティにとても満足しています。まだ画像に対しては手を付けておらず、動画にのみ使っているので全部把握できていないですが、設定の一部を変更することでより快適に使うことができます。
ということで、Waifu2x-Extension-GUIで動画を処理する際の、自分なりに調べてみたおすすめの手順を共有したいと思います。
準備
まず最初に、最低限Waifu2x-Extension-GUIを起動して使える状態にするまでの準備をします。
GithubのWaifu2x-Extension-GUI公式ページにアクセスし、「Download Latest Stable Build (Windows x64)」を開きます。
開くと最新版のページが表示されるので、「Download FULL Package」の下にあるリンクからダウンロードしましょう。私はGithub.comのリンクからダウンロードしました。
ダウンロードされるファイルは7-Zip（.7z）なので、7-Zipファイルを解凍できるソフトを用いて解凍してください。
解凍したファイルの中にbatファイルがあるので、batファイルを実行するとWaifu2x-Extension-GUIが起動します。最初に言語選択する必要がありますが、日本語は非対応なのでEnglishを選択します。
初回起動ではアップスケール等に使う様々なエンジンのチェックテストが行われます。ゆっくり待ちましょう。
全て終わると、次のような画像が表示されると思います。
ここまで完了するとWaifu2x-Extension-GUIを使う準備は完了です！
なお、次回以降の起動時には寄付を促すウィンドウが表示されるようになります。
寄付をすることでより上位の機能を使うことができるようになったり、寄付を促すウィンドウが表示されなくなりますが、無料版の機能だけでも十分な結果なので、無料版が物足りなくなった場合に検討するとよいと思います。
処理を行う動画をWaifu2x-Extension-GUIに読み込ませる場所であるHOMEについて、説明します。ここまで分かれば動画の処理は可能となります。
-
HOME
HOME上部に処理を行うファイルをドラッグアンドドロップするか、中央左上の画像+のアイコンをクリックしてファイルを選択することで読み込ませます。
中央左ではアップスケールする解像度を直接指定します。画像では横1920、縦1080の解像度になるようアップスケールする設定になっています。Apply to all にチェックが入っている場合は処理を実行すると自動で指定した解像度を適用してくれますが、チェックを外している場合は解像度を指定した後Applyを選択するのを忘れないようにします。
本題
いよいよ本題です。動画の処理では、解像度上げることやフレームレートを増やすといったことをします。HOMEやEngine settingsで設定するのですが、これが大変です。しかし、この設定を自動で行ってくれる機能がWaifu2x-Extension-GUIにはあります。使わない手はないでしょう。
中央上部の「Settings Presets」で、どのような処理を行うかを指定します。「Settings Presets」を選択すると複数の選択肢が表示されるので目的に応じて変更します。
・Frame Interporation： 画像補間をしてフレームレートを上げる
・2D Anime： 処理する対象の動画がアニメ調の場合
・3D Real-life： 処理する対象の動画が現実の動画の場合
・Enlarge： 動画の解像度を上げる場合（解像度は上述した方法で指定した解像度になります）
・Fast - Quality - Ultra Quality(Slow)： 処理の品質を指定（高品質ほど時間がかかります）
これらの組み合わせから1つを選択すると、選択した内容に合わせて中央部分の設定やEngine settingsの設定が自動で指定されます。細かいエンジンの組み合わせを考える必要がなくなるのでこの方法で処理内容を決めてしまうことをお勧めします。
フレームレートを上げる設定はデフォルトでは2倍になっています。FPS30の動画の場合、Frame Interporationの設定を適用するとFPS60の動画になるということです。ほとんどの動画は24~30FPSだと思うので、2倍にすると劇的に差を感じられます。2倍以外のFPSにするにはPremiumバージョンが必要です。寄付しましょう。(私はしておりません)
私は、「Video Frame Interporation Only」、「2D Anime - Enlarge Only - Ultra Quality(Slow)」、「2D Anime - Enlarge & Frame Interporation - Ultra Quality(Slow)」、をよく使っています。Ultra Qualityは元の動画によりますが、30分程度の動画処理に2~3時間程かかります。
中央部分の一部や中央右部分では、処理した後の動画ファイルの保存先のフォルダや元動画の削除、上書き保存等を指定できます。保存先のフォルダを指定するためには、Output Folderの中のEnabledにチェックを入れると設定できるようになります。処理後の動画を見失わないよう、こちらも設定しておくとよいと思います。
-
Video settings
Video settingsで手を入れる箇所は2つです。中央左の「Dynamic RAM Cache」と、上部の「Process video by segment」です。
「Dynamic RAM Cache」では、メモリの容量の一部を処理する際のデータ保存領域として割り当てる設定をします。この設定をしないと、処理する動画の保管されているHDDやSSDでとてつもない量の読み書きが行われてしまい、HDDやSSDの寿命を縮めてしまいます。
「Dynamic RAM Cache」欄下のImDisk installation folderの右にあるダウンロードアイコンを選択してImDiskをダウンロードします。
ダウンロードが完了した後、割り当てるサイズを指定してAttachを選択します。プログラムに変更を加えるかのウィンドウがでるので、「はい」を選択します。
割り当てるサイズはメモリに余裕があるサイズにするほうがいいです。メモリのアイコンをクリックすると、使用可能な容量のうち85%を自動で指定してくれるので、こちらもうまく活用してみてください。
「Dynamic RAM Cache」での設定が終われば、次は「Process video by segment」です。
デフォルトではSegment durationが30secsになっていると思います。これは、1サイクルにおいて処理を行う映像の秒数を指定します。つまり、「30secs」の場合、「動画の30秒分の画像を保持し、アップスケール、フレームレート向上処理を施して動画に戻す」ということです。このサイクルが動画の長さだけ繰り返し行われます。「Dynamic RAM Cache」の設定を行うことで、30秒分の画像をメモリに保持して処理することができます。
パソコンのスペックによって「Dynamic RAM Cache」で割り当てることが可能な容量が変わるので、基本的に「Process video by segment」で調整することになると思います。処理を実行してメモリが足りなくなれば、Segment durationを減らしてメモリエラーが出ないように調整します。
まとめ
Waifu2x-Extension-GUIで動画処理を行う際のおすすめの手順を紹介しました。
- 映像処理はSettings Presetsで指定する
- 「Dynamic RAM Cache」と「Process video by segment」でHDDやSSDを守る
2に関してはパソコンの寿命のためにもほとんど必須だと考えています。1はある程度仕様がわかった後にカスタマイズしてみるとよいと思います。
その他Additional settingsではGeforce RTXのGPUのチェックを入れる箇所があったり、Video settingsにNvidiaのCUDAを用いてGPUに処理を手伝ってもらう設定があったりします。
ありがとうございました。
Discussion