線画関係のレポ
Plat個人的なメモ
PlatAnime2Sketch
デモ(自前): https://huggingface.co/spaces/p1atdev/Anime-to-Sketch
イラストの線画を抽出できる。しかし、たまに一部のテクスチャの処理が変な感じになることがあったり、線が薄かったりする...
| 元画像 | 線画抽出後 |
|---|---|
 |
 |
AODA という GAN がベースになっているらしい。
PlatMangaLineExtractor
論文: https://ttwong12.github.io/papers/linelearn/linelearn.pdf
デモ(自前): https://huggingface.co/spaces/p1atdev/Anime-to-Sketch
漫画・イラストの線画を抽出できる。結構品質がいいのだが、相性が悪いイラストだと全然線を抽出できないことがあって良い時と悪い時の差が激しい。あとちょっと重いかも。(これは処理時にグレースケール化するので色は全然関係なくて、漫画じゃなくてカラーイラストでもそのまま使える)
| 元画像 | 線画抽出後 |
|---|---|
|
 |
| (これはあんまり相性が良くない方) |
アーキテクチャは大量の Conv に Shortcut がついた U-Net ぽい感じになっている。
個人的にデータセットの作成方法が面白くて、線画だけの画像から領域ごとに漫画のトーンを貼った画像を合成して、逆の変換ができるように学習している。
論文の Fig 5 から引用。図中の画像は ©Minamoto Tarou
なので、線画だけのデータセットがあれば割と簡単に学習用のペアを作れそうなのと、似たようなタスク？にも応用できそう？
PlatLineDistiller
デモ: https://hepesu.github.io/LineDistiller-browser/
MangaLineExtractor と sketchKeras を元にしているらしい。
| 元画像 | 線画抽出後 |
|---|---|
|
 |
単純に線画抽出だけじゃなくて、画像から領域分けしたり色々加工できるツールもセットになっている。
PlatShadeSketch
arXiv: https://arxiv.org/abs/2002.11812
デモ: https://qyzdao.github.io/ShadeSketch/
デモ(非公式): https://shinya7y.github.io/playground/shadesketch/
線画に自動で陰影をつける。
右上に光源を設定した
データセットは実質手作業で作成・ラベリングしているっぽいので、3Dモデルとか使ってで自動化したくなってくる。
PlatAppearanceEraser
カラー画像からの陰影の分離
論文: https://lllyasviel.github.io/AppearanceEraser/paper/paper.pdf
プロジェクトページ: https://lllyasviel.github.io/AppearanceEraser/
PlatLayerDiffusion
透過画像を生成したりできるらしい。