[Vtuber]AR×Vtuberのやり方
こんにちは。
朱護重工の山口です。
最近いろいろな技術を使って現実世界でVtuberっぽいことをする例が増えています。一方でそのやり方についてはあまりまとめられていなかったりするので、自分メモとして残しておきます。
この記事は「Vtuber何でも Advent Calendar 2022」の8日目の記事です。
目次
- どんな種類があるか
- それぞれどんなものなのか
どんな種類があるか
前提として、今回は現実の世界をベースにしておいて身体の一部もしくは体全体がアバターなどになっている例を見て行きます。”2.5次元”の概念は広義になりすぎていてこれ！みたいにまとめるのが難しいです。
代表的なものは下記の3種類だと思います。他にいろいろ方法はありますが独自環境(秘伝のたれ的なやつ)だったりすることが多いのでここでは触れません。(全部網羅するのは情報精査の観点から難しい。)
顔だけVtuber(顔だけアバター)
一番有名なところだとおめシスのやつです。いろいろなやり方でやっているとのことなので、まったく同じやり方ではありませんが、近い映像を作ることは可能です。
- パーフェクトシンク(ARKit)を利用した方法
- OBS(PC)で合成する方法
現実の映像に全身アバター
- After Effectを利用した方法
それぞれどんなものなのか
パーフェクトシンク(ARKit)を利用した方法
ARKitは、Appleが提供している開発キットの名称で、iOS向けのAR機能を提供するものです。
iPhone・iPadのカメラを使った高度な表情トラッキングで、豊かで自然な表情アニメーションを実現できるものです。
ARKitには様々な機能が入っていますが、その中のモーショントラッキング、さらにモーショントラッキングの中の表情情報のみを利用する形になります。
※パーフェクトシンク/パーフェクトリップシンクは公式名称ではなく日本の開発コミュニティでの通称です。
パーフェクトシンクに対応したアプリはすでにたくさんありますが、その中でも「顔だけVtuber」に重点をおき、簡単に試すことができる方法は下記が挙げられます。
Virtual Face(八ツ橋まろん)
八ツ橋まろんさんが公開しているアプリです。VRMアバターを読み込ませることで簡単に顔だけVtuberを試すことが可能です。
iPhone一つあれば屋外でもどこでも場所を問わず撮影が可能なため、とりあえず、悩んだらこれをおすすめします。
また、通常パーフェクトシンクはVRoidStudioから書き出したVRMをパーフェクトシンク対応させる必要がありますが、パーフェクトシンク非対応モデルでも読み込ませることが可能です。(ただし表情の反映はパーフェクトシンクと変わる)
アニ文字(ミー文字)
アバターなどを持っていない。もっと気軽に試してみたい！という方にはおすすめです。
Facetimeで利用可能です。あまり使われていませんがapple公式の機能でアバターのカスタマイズも簡単なので試してみたい。という方にはおすすめです。
実際に試すとこんな感じです。(アップロード画質の関係でがびってます)
OBS(PC)で合成する方法
OBS上で任意のトラッキングアプリとカメラの映像を合成する方法です。
バーチャルモーションキャプチャーを利用したやり方は↓にまとめているので参考にしてください。
OBSを主軸にしているため、バーチャルモーションキャプチャーに限らずなんらかの方法でトラッキングしている映像をOBSに流し込めればなんとでもできるため、環境や機材によって映像を作り込んでいくことができます。
たとえば、iPhoneを利用した場合はカメラの画質がiPhoneを超えることをできませんが、OBSであれば任意のカメラを利用することが可能です。
↑で紹介したVirtual FaceをPCに画面をミラーリングしてそれOBSに流してこんでも良いです。
また、iPhoneのパーフェクトシンクのトラッキング情報だけをPCで受け取ることができるPCアプリもたくさんあるのでそれらを利用してもOKです。
また、OBSで合成しているため、そのままリアルタイムで配信や、ゲーム画面などと合わせて録画なども可能です。ただし、顔バレ事故には気を付けよう。
After Effectを利用した方法
映像から人物を削除する機能を使い、そこにトラッキング映像を重ねる。という方法です。
アズリムちゃんのようなイメージです。
東雲はつりちゃん
ここについては9日目の記事で触れます。
また、明日。
Discussion