DragGANをgoogle colabで試す

DragGANとは

DragGANは点を画像内に指定することで任意の表情や姿勢に画像内の対象物を変化させることができるEdit Imageのモデルの一つです。New PhotoShopとも言われています。

https://github.com/JiauZhang/DragGAN

リンク

Colab
github

準備

Google Colabを開き、メニューから「ランタイム→ランタイムのタイプを変更」でランタイムを「GPU」に変更します。

環境構築

インストール手順は以下の通りです。

!git clone https://github.com/Zeqiang-Lai/DragGAN.git

import sys
sys.path.append(".")
sys.path.append('./DragGAN')

!pip install -r DragGAN/requirements.txt

from gradio_app import main

推論

実際にWebUIを起動します。

demo = main()
demo.queue(concurrency_count=1, max_size=20).launch()

起動後にSetUp Handle Pointsというタブの方に切り替えて２点指定します。

その後Drag Itというボタンを押すと推論が始まります。
今回対応しているモデルがffhqのものなのでおそらく人間の顔のみうまく編集できるものになっています。

10step

20step

ちょっと顔が変わっていますがいい感じです。

最後に

今回はNew Photoshopと名高いDragGANをgoogle colabで試してみました。まだ人間の顔バージョンしかないみたいですが。面白い技術ですね。画像編集も新しい時代に突入という感じでしょうか？
動画とかも組み合わせたら簡単に作れそうですね！
ただ色々なサンプルを試してみましたがうまく口が開かなかったり、後ろの背景とかが整合性が取れなくなるとかありました。。みなさんも実際に試してみてください！

今後ともLLM, Diffusion model, Image Analysis, 3Dに関連する試した記事を投稿していく予定なのでよろしくお願いします。