AR着ぐるみ配信[顔だけVアバター身体は実写]のやり方
深夜の思いつきで作ったやつの自分用メモです。
自分用なので、インストール手順やセットアップ、細かい説明は省略しています。
前説
実写を含むvtuberがここ最近増えてきていますが、顔はVで身体は実写。というケース※はあまり見かけないのでやってみました。
※写真などで後から合成している方はお見かけしますがリアルタイムでその姿で配信をされている方はいないという意味です。
実写のVって何？という方はこちらの記事などを読んでみてください。
この記事を再現するのに必要なもの
機材
- クロマキー環境
- 本記事ではグリーンバックスクリーンを利用。
- 実写用カメラ
- 本記事ではUSB接続の一般的なwebカメラを利用。
- PCでカメラとして使えればなんでもいいです。
- トラッキング機材
- 本記事ではvalve INDEXとINDEXコントローラー左右で代用しています。
- VMCで頭と手の3点トラッキングできるものであればなんでもいいです。
- BS環境
- ↑の機材を利用するためのBS環境。
- PC
ソフトウェア
- steamVR
- OBS
- バーチャルモーションキャプチャー
- VRoid Studio
- 本記事ではver1.2.0を利用しています。
その他
- VRM形式のアバター
- VRoid製を推奨。本記事ではVRoid製を前提としています。
この記事でやること
- クロマキーで抜いたときに、顔だけになるようなVRMアバターを作る
- OBSで実写合成
ステップ1：アバターの準備
この手順に必要なもの
- VRoid Studio
- VRMアバター
1-1：アバターの体型テクスチャーを変更する
-
VRoidstudioで利用したいアバターを開く。
-
[体型]を選択します。
-
画面左の[全身]-[カスタム]-[新規アイテム(✚アイコンのところ)]を選択。
-
クリックすると、新しいカスタムアイテムが作成される。
-
画面右の[カスタマイズ]-[テクスチャを編集]を選択。
-
画面左の[肌]-[テクスチャ]-[レイヤー]のデフォルト画像を非表示にする。
-
画面左の[肌]-[テクスチャ]-[レイヤー]に新規レイヤーを作成。
-
画面右、カラーをクロマキーで抜ける色を変更。ここでは緑を選択。
-
画面右、[ブラシの形状]-[ブラシの太さ]を最大にする。
-
テクスチャを一色で塗りつぶす。(普通に右クリックで塗る)
1-2：アバターの体型を変更する
実写合成するにあたり、現実の肩幅に近くなるように体型を変更します。ここは個人差があるのでお好みで肩幅を大きくするなどして調整してください。
1-3：アバターの衣装を変更する
アバターの衣装は実写合成する際の現実の衣装に近くなるように作っていきます。現実の衣装(体型含め)に近ければ近いほど、クロマキーで抜いた際に後ろ髪のオクルージョンに違和感がなくなります。逆に後ろ髪がな短髪のアバターなどであればインナーのみにするなどでよいかと思います。
※1-1と手順自体はほぼ同じなので手順は省略。
1-4：身体のアウトラインを消す
エクスポートする前に、[ルック]から体のアウトラインの太さを最小にします。このとき髪や顔はアウトラインを少し太めにつけると実写合成したときにアバターの顔がパキッっとします。
1-5：アバターを書き出す
VRM形状で書き出す。
ステップ2:アバターをVMCでトラッキングする
※steamvrのセットアップは省略しています。
2-1:VMCにアバターをインポートする
- [VRM読込]からVRMをインポート
- 頭と両手の3点トラッキングでキャリブレーションする。このとき頭をHMDでトラッキングするときは、普通に被るのではなく、サングラスを頭にかける要領で現実が見えるように装着する。
※手順は公式サイトやほかの解説記事を見てください。 - キャリブレーションできたら、[カメラ]から[フリー]に変更。
- [背景色]からGBに変更。このときアバターの体や衣装の色が背景色と大きく違うときはステップ1に戻って色を調整する。
ステップ3：OBSで実写合成
3-1:OBSでVMCのウィンドウをキャプチャしてクロマキーで色を抜く
- [ソース]にウィンドウキャプチャでVMCのウィンドウを追加
- [ソース]の該当ウィンドウの上で右クリックして、[フィルター]を選択
- ＋マークから[クロマキー]を選択。色の抜きが甘ければ類似性を調整する。
3-2:実写側の映像をOBSに入れる
- [ソース]から映像キャプチャデバイスで実写の映像を入れる
- 3-1と同じ手順で背景を透過する。
3-3:OBSで実写合成
- OBSの画面を見ながら、実写とウィンドウ内の現実の顔にVMCのウィンドウのアバターの顔が重なるように調整
- OBSの画面を見つつ、VMC側でカメラの回転やFOVや、拡大縮小などでいい感じのサイズになるように調整する
- 上の2手順を交互に繰り返して、ある程度身体を動かしても顔のずれないような調整をする
ステップ4：あとはお好みで
ステップ1~3でOBS上にアバターの顔に現実の顔の背景透過映像が作れていることになるので、ゲーム画面などをキャプチャして好きにそのまま配信することができる。好きなように使おう。
終わりに
本記事のやり方だと、絵面としては非常にあれだったり合成が完璧じゃなかったりします。
ただ、現実のポリゴン数は無限ですし、新衣装も買って着替えればすぐに実装できます。たとえばアバター化するのが非常に難しいゴスロリ系の衣装やドレスなどを自由にアバターと簡単に合成することもできます。特にある程度自由がきく個人の方にはこういったことにぜひ挑戦してみてほしいです。
本記事はあくまでも自分用メモで省略している点も多いので、もしやってみて分からないなどあればお気軽にtwitterDMまでご相談ください。※対応はケースバイケースで全て対応するわけではありません。
カスタム/オリジナルアバター制作費用＞＞＞＞＞＞＞＞＞＞＞＞＞＞現実の可愛い洋服の値段
個人的にロリータ服が好きなので、こういう衣装のVがもっとたくさん増えてほしい。
Discussion