Comicolorization: Semi-Automatic Manga Colorization
Comicolorization: Semi-Automatic Manga Colorization
どんなもの？
漫画に特化した着色作業の自動化。
白黒漫画と参照画像を入力として、多層畳み込みニューラルネットワークによるカラー漫画半自動生成を実現した。
関連研究
白黒漫画ではなく自然画像に対して行う論文が飯塚らによって報告された。
詳細はこちらの資料に譲ります。
以下の比較の
(a)は先の飯塚らの実装を使ってイラストの着色を行っている。
(b)ではGANにおいて一般に用いられる敵対的損失を(a)に追加したもの。
(c)は提案手法である。
(a)では淡い色であまりいい感じには思えない。
(b)(c)ではいずれも鮮やかな色で着色されており、(a)よりいい感じである。
じゃあ(b)でいいじゃんと思うかもしれないが、漫画の着色となると話が変わる。
漫画では複数コマで登場する同一キャラクターは同じ色で塗られるべきである。
では明示的に「このキャラクターは、こういう色だ」というような特徴を同時に入力として教えてやることで半自動で着色できないかというのがこの論文である。
本論文では参照画像から抽出した色彩特徴量をCNNに入れてやることで画像入力ごとにカラーストロークを入れずに着色の意図をネットワークに伝えることができる。
詳細
主に4つの工程がある。
自動コマ分割
2値化を行った後、コマ認識及び分割アルゴリズム(A Study on Control Parameters of Frame Decomposition Method for Comic Images)でコマの分割を行う。
参照画像を用いた半自動着色
ネットワークは先に登場した飯塚らのものに基づいて構築されている。
追加点は①参照画像から色彩特徴量を用いたこと、②キャラクターおよび作品のラベルを予測する分類タスクを行うこと、③Loss関数に敵対的損失を加えたことである。
ここで色彩特徴量（パレット）とは何ぞやというと参照画像の
パレットは結合層で統合したあと着色ネットワークに入力される。飯塚らのネットワークモデルの結合層と同様、28×28にブロードキャストして局所特徴ベクトルとている。
着色結果修正
先の2つだけで基本的には着色結果を得ることができる。しかしユーザーの意図しない結果が出た際修正できるようにしている。
大域的な修正にはヒストグラム、局所的な修正にはカラードットを領域上に直接付与することで選んだ色で着色される。
ページレイアウト復元
最後にページのレイアウトを元に戻す。
ネットワーク
クラス分類に用いるラベルはイラストに付与されたタグ428ラベルを用いている。
学習データはカラーイラストを大津の二値化をかけることで元のカラー画像をground-truthとした。自動着色でも鮮やかな着色を学習できるよう、再度が低いカラーイラストは除外している。
モデルの損失関数はLab色空間での平均2乗誤差、敵対的損失およびクラス分類誤差も用いている。
結果
論文リンク
Discussion