鉛筆画の作画プロセスを生成するAI「スケッチメーカー」を作ってみた
こんにちは！
趣味でWebサービスの個人開発をしている、2z（Twitter： @2zn01 ）といいます。
ノーコードで誰でも簡単にAIを作れる「AI MAKER」というサービスを運営しています。
今回はこの「AI MAKER」内で鉛筆画の作画プロセスを生成するAIを試せる「スケッチメーカー」という機能を作りましたので、ご紹介します。
- スケッチメーカー
https://aimaker.io/sketch-art
何ができるの？
画像をアップロードすると、その画像を鉛筆画として作画した際のプロセスを動画もしくはGIFアニメーションで生成することができます。
言葉で説明するよりも、実際に見てもらった方が分かりやすいと思います。以下のように、画像をアップロードすると、画像を鉛筆画として作画するプロセスの動画が生成することができます。
他にもこんな感じで生成することができます。
システム構成図
スケッチメーカーのシステム構成図は以下の通りです。
Amazon Web Services（以下、AWS）を使ってサービスを構築しました。
大きな構成としては、主にユーザからのリクエストを受け付けるフロントサーバと機械学習の処理を取り扱うバックエンドサーバの2つです。
使用技術
Linux
クラウドのホスティングはAWSで、EC2でサーバを立てています。
サーバのOSはLinuxでフロントサーバ側はAmazon Linux2、バックエンドサーバ側はUbuntuを使っています。
Apache
webサーバはApacheを使っています。
Nginxもありますが、Apacheは普段から使っており、設定方法も把握しているため、いつも通りの安定の選択としました。
MySQL（Amazon RDS）
データベースはMySQL（Amazon RDS）を使用しています。
NFS（Amazon EFS）
各インスタンスでファイルを共有するため、NFS（ネットワークファイルシステム）として、Amazon EFSを使用しています。
PHP
フロントサーバのプログラムはPHPを使って実装しています。
Python
バックエンドサーバのプログラムはPythonを使っています。
また、フロントサーバ側からバックエンド処理を呼び出すためのAPIは、「FastAPI」というフレームワークを使って実装しています。
- FastAPI
https://fastapi.tiangolo.com/ja/
仕組み
画像から鉛筆画の作画プロセスを生成する部分に関しては、以下の論文・コードをご覧ください。
- 論文
Sketch Generation with Drawing Process Guided by Vector Flow and Grayscale - コード
GitHub上にコードも公開されています。
TZYSJTU / Sketch-Generation-with-Drawing-Process-Guided-by-Vector-Flow-and-Grayscale
論文によると、与えられた画像（I）をもとに3つの処理（ETF、Q、G）が行われ、最終的には出力（R）を得るという流れとなります。
また、そのプロセスで進捗を画像で出力していくことで、作画プロセス（制作過程）を見ることができます。
そして、最後に作画プロセスごとに出力されたすべての画像（コマ）を結合することで、動画およびアニメーションGIFを生成することができます。
もう少し詳しく仕組みを知りたい方は、日本語で記事を書いている方がいらっしゃいますので、以下の記事をご覧ください。
最後に
今回は鉛筆画の作画プロセスを生成するAI「スケッチメーカー」について、ご紹介しました。
以下のURLよりぜひ試して遊んでみてください！
■URL
実際に試して頂いた方のスケッチはTwitterのハッシュタグ「 #スケッチメーカー 」から見ることができます。皆さんもぜひ試して頂いた際には、試した結果をTwitterにシェアして頂けると嬉しいです！
また、このサービスに少しでも興味をもって頂けましたら、ぜひともフォローやいいね、リツイートで応援お願いします！
普段は以下のようなサービスを開発・運営していますので、興味があるものがございましたら、ぜひとも使ってみて頂けると嬉しいです！
- AI MAKER
ノーコードで誰でも簡単にAIを作れるサービスです。
作ったAIを活用するためのAPIも提供していますので、ぜひご活用ください。
- waifu2x-multi
画像・動画を高画質化・拡大・ノイズ除去できるサービスです。
- 文字起こすくん
画像、音声、動画をアップするだけで簡単に文字起こし・書き起こしできるサービスです。
話者の識別も可能になりました！
- テロップメーカー
動画をアップロードするだけで、動画内の音声を認識して文字起こしを行い、自動で動画に字幕・テロップをつけるサービスです。こちらも話者の識別が可能になりました！
それでは！
Discussion