鉛筆画の作画プロセスを生成するAI「スケッチメーカー」を作ってみた

4 min read読了の目安(約3600字

こんにちは!
趣味でWebサービスの個人開発をしている、2z(Twitter: @2zn01 )といいます。
ノーコードで誰でも簡単にAIを作れる「AI MAKER」というサービスを運営しています。

https://aimaker.io/

今回はこの「AI MAKER」内で鉛筆画の作画プロセスを生成するAIを試せる「スケッチメーカー」という機能を作りましたので、ご紹介します。

https://twitter.com/2zn01/status/1350226287726497793

何ができるの?

画像をアップロードすると、その画像を鉛筆画として作画した際のプロセスを動画もしくはGIFアニメーションで生成することができます。

言葉で説明するよりも、実際に見てもらった方が分かりやすいと思います。以下のように、画像をアップロードすると、画像を鉛筆画として作画するプロセスの動画が生成することができます。

スケッチメーカー

https://twitter.com/2zn01/status/1349882145276235776

他にもこんな感じで生成することができます。

https://twitter.com/2zn01/status/1350100118834298880

システム構成図

スケッチメーカーのシステム構成図は以下の通りです。

スケッチメーカー-システム構成図

Amazon Web Services(以下、AWS)を使ってサービスを構築しました。

大きな構成としては、主にユーザからのリクエストを受け付けるフロントサーバと機械学習の処理を取り扱うバックエンドサーバの2つです。

使用技術

Linux

クラウドのホスティングはAWSで、EC2でサーバを立てています。
サーバのOSはLinuxでフロントサーバ側はAmazon Linux2、バックエンドサーバ側はUbuntuを使っています。

Apache

webサーバはApacheを使っています。
Nginxもありますが、Apacheは普段から使っており、設定方法も把握しているため、いつも通りの安定の選択としました。

MySQL(Amazon RDS)

データベースはMySQL(Amazon RDS)を使用しています。

NFS(Amazon EFS)

各インスタンスでファイルを共有するため、NFS(ネットワークファイルシステム)として、Amazon EFSを使用しています。

PHP

フロントサーバのプログラムはPHPを使って実装しています。

Python

バックエンドサーバのプログラムはPythonを使っています。
また、フロントサーバ側からバックエンド処理を呼び出すためのAPIは、「FastAPI」というフレームワークを使って実装しています。

仕組み

画像から鉛筆画の作画プロセスを生成する部分に関しては、以下の論文・コードをご覧ください。

論文によると、与えられた画像(I)をもとに3つの処理(ETF、Q、G)が行われ、最終的には出力(R)を得るという流れとなります。

処理の流れ

また、そのプロセスで進捗を画像で出力していくことで、作画プロセス(制作過程)を見ることができます。

制作過程

そして、最後に作画プロセスごとに出力されたすべての画像(コマ)を結合することで、動画およびアニメーションGIFを生成することができます。

もう少し詳しく仕組みを知りたい方は、日本語で記事を書いている方がいらっしゃいますので、以下の記事をご覧ください。

最後に

今回は鉛筆画の作画プロセスを生成するAI「スケッチメーカー」について、ご紹介しました。
以下のURLよりぜひ試して遊んでみてください!

■URL

https://aimaker.io/sketch-art/

実際に試して頂いた方のスケッチはTwitterのハッシュタグ「 #スケッチメーカー 」から見ることができます。皆さんもぜひ試して頂いた際には、試した結果をTwitterにシェアして頂けると嬉しいです!

また、このサービスに少しでも興味をもって頂けましたら、ぜひともフォローやいいね、リツイートで応援お願いします!

https://twitter.com/2zn01/status/1349882145276235776

普段は以下のようなサービスを開発・運営していますので、興味があるものがございましたら、ぜひとも使ってみて頂けると嬉しいです!

  • AI MAKER
    ノーコードで誰でも簡単にAIを作れるサービスです。
    作ったAIを活用するためのAPIも提供していますので、ぜひご活用ください。

https://aimaker.io/
  • waifu2x-multi
    画像・動画を高画質化・拡大・ノイズ除去できるサービスです。

https://waifu2x.me/
  • 文字起こすくん
    画像、音声、動画をアップするだけで簡単に文字起こし・書き起こしできるサービスです。
    話者の識別も可能になりました!

https://text.aimaker.io/recognize-bot/
  • テロップメーカー
    動画をアップロードするだけで、動画内の音声を認識して文字起こしを行い、自動で動画に字幕・テロップをつけるサービスです。こちらも話者の識別が可能になりました!

https://text.aimaker.io/recognize-video/

それでは!