Zenn
🥀

えっちなサイトを作る(13)

2021/08/06に公開
個人開発
idea

引き続きえっちなゲームがプレイできちゃうサイトを作ろうと頑張ります。

暑くてヘナヘナします👻

前回からの課題

目標：２次元画像の脱衣差分を自動生成したい

  • 課題：書籍を購入し内容を実践する
    • 課題：書籍の発売時から1年経ってるので完了後に再度技術調査必要
      • 課題：DeepCreamPyの実用性について調査
    • 課題：ブックマーク整理
  • 課題：個人開発をはじめよう本でMVPについてもうちょっと知る

モザイク除去から学ぶ最先端のディープラーニング本をやる(4)

https://qiita.com/koshian2/items/aefbe4b26a7a235b5a5e

2章~11章（あとがき）までまでざっくり読む

面白いテーマが続くので、ノンストップで11章から後書きまで読んでしまった！
細かい理論・演習などは飛ばして、各章どんなテーマなのかというのをざっくり把握しました。
この本でDNN（GAN）入門するので間違いないと確信できたのが収穫です。

  • GANの考え方は「画像を鍛える」ということ
    • 職人的な画像の加工をGANで代替できるのでは？という思いに回答が得られてよかったです

GANの敵対的な学習は警察と偽造者の関係で説明できるが、Image to image translationのGANには「画像を鍛える」という側面がある。Non-GANのImage to image translationでもこれは当てはまるが、GANのほうがより意識しやすい。具体的にはpix2pixもCycle GANで、より広く言えば画像を入力するようなConditional GANを指す。これらはGANの一種であるが、偽造するというよりかは画像を鍛えると言ったほうが適切だろう。

  • 課題：自分の解決したい課題は画像処理としてどういう位置づけなのか？

    • 書籍のテーマ「モザイクの元画像への回復」と同一と見てよいか？違いはあるか？
    • 課題の明文化によって適用すべき方式の検討に役立つ

  • 課題：２次元画像の学習用Datasetの調査

    • 先行研究者が利用しているDatasetの有無は？
    • Datasetについてはちょうど良さそうな以下のような記事が上がってました
    • アニメキャラのバストアップは無さそうだったので残念

https://zenn.dev/karaage0703/articles/5fcb217baded2e

  • 課題：機械学習でよく表記される数式の苦手意識がある、解消する方法？

    • それともあんまり厳密に知らなくてもよいか？
    • 論文だけで実装がない場合は、数式を読み解く必要があるかも？
    • 必要になったらやる。今はやらない。

  • バズったAIキャラクターメーカーはpix to pix GANの実装かな？

  • DeepCreamPyの実装はPEPSIモデル

  • GANの類型を紹介してる記事で最近のGANをキャッチアップ

    • 案外取り上げてる数が少なくて参考にならなかった…

まとめメモ

手作業で２次元画像の差分を作るのは、職人的加工を行っている部分である。
これはDNNを利用して自動化すべき領域である。

Edge Connectでは線画→着色の２段階を踏んでいるが、
これは人間の画像制作（差分制作）の工程と非常に類似していて、直感的に良さそうと感じる。
また、本の著者は段階を分けることで、精度が上がりにくい部分をAIとの分業することが可能になると示唆している。
関連技術として、キャラクターへの自動着色についても調べると良いかもしれない。

終わり

一通り書籍を読んで、やりたいことの実現可能性は十分ありそうなのが良かったです。
演習はぜんぜんやれなかったので、次回からまた地道に演習進めていきたいです。

Discussion