顔写真にメイクできる

顔写真にメイクを転写したり、メイクを付与したりできます。

メイクの転写: Makeup Transfer

次の画像は架空の女性に対して、Makeup Transferの技術を用いて様々なメイクを転写した結果です。

2022年時点の最先端手法であるSSAT,SpMT,EleGANtの３つの手法を試してみたところ、現在、転写できるメイクの種類は、アイライン、チーク口紅の３つでした。まぶた下のメイクも転記できることもありますが、くっきりと転記されることは少なかったのと、つけまつげやカーラーによる湾曲を転記することが現時点では難しいようです。前者はデータセットを増やすことで解決可能だと思いますし、後者もデータセットを増やすことで緩和することができると思います。アイラインを生成できるはずなので、まつげを多少生やすということはできるはずです。

また、理論上はメイクを落とすことができるはずですが、今のところ、どのリポジトリを使っても、メイク落としには成功していません。誰か成功した人がいたら教えていただけると幸いです。

アプリとしては、家で色んなメイクを試せるアプリや、メイクを試せる鏡型のデジタルサイネージ、フィルタアプリなどが考えられます。

また、CPMという手法を用いると、下記の画像のようなメイクの転写もできます。

１からメイクをつける

１からメイクを付与することも可能です。
例えば、face-parsingを使うことで、下記画像のように顔のパーツのセグメントを表示することができ、いい感じの位置に画像を重ね合わせて、いい感じにブレンディングすることで、１からメイクを付与することが可能です。

下記画像は、上記技術を用いて、唇や髪の色を変更している例です。