🐶

facefusionを用いてdeepfake動画を作成する

2024/04/17に公開

おはこんばんにちは。
最近、AIやdeepfake, ML周りを触っているYです。

今回はdeepfake動画を簡単に作成できるfacefusionというオープンソースプロジェクトの使用方法について解説していきます。
※pythonを軽く触ったことがあるという前提

1. 環境構築

今回はPCのスペック差もあるかと思いますので、クラウド上での実行を想定してセットアップを行います。(要領的にはローカルも同様)

まず、本記事ではPaperspaceというクラウドGPUサービスを使用します。
https://www.paperspace.com/

サインアップが完了しましたら、MLGradientにて新規でprojectを作成し、notebookを立ち上げましょう。
今回使用するmachineは無料枠のP5000です。
(なお、FREEプランの場合マシン自体の無料枠が見当たらなかった為、クレジットバランス内での使用を行えば大丈夫かと思われます)

そして、startしましたらターミナルを開き仮想環境を立ち上げ、facefusionをgitcloneします。

プロジェクトファイルのfacefusionに移動して必要なパッケージ類をインストールします。
requirements.txtに格納されているため、そちらを使用してください。

また、cudaエンコーダを使用するためのパッケージが入っていないみたいなので、下記コマンドでインストールしてください。

python install.py --onnxruntime cuda-11.8

2. 実行

パッケージインストールが完了しましたら、実際にファイルをアップロードして実行していきます。
facefusionのディレクトリ内にinput, outputのフォルダを新規作成し、deepfake加工を行う元動画ファイルとfaceswapする画像をinputフォルダ内にアップロードしてください。

今回はvitalikを元動画として使用します。

なお、画像は危機感ニキでお馴染みのジョージコーチを使いますw

そして、下記コマンドで実行を行います。
(ファイル名はそれぞれ合わせてください)

python3 run.py --source input/face.png --target input/video01.mp4 --output /notebooks/facefusion/output/swapped.mp4 --frame-processors face_swapper face_enhancer --face-enhancer-model gpen_bfr_512 --execution-providers cuda --headless

そして、実際に出力されたものがこちらになります。