Immersalを使ってAzure Kinectを位置合わせ

目的

タイトルにある通り、AzureKinectをImmersalによって位置合わせする
AzureKinectのカメラ画像から、部屋のどこにあるのかを特定してみよう！という感じ

ログを撮る前に、すでにフライングでいろいろやってしまっている

まずAzureKinectの環境構築は、すべて前に作ったリポジトリを流用しているので秒で終わった
https://github.com/gusyatto-corp/shoten11-azure-kinect-vfx-sample

UniTask、Pcx、UniGLTFをインポートして、Immersalのアセットをインポートしてみる
メッシュファイルがとても重かったのでgitignoreした

VFXとImmersalモデルは縮尺がいい感じにあっている
これは手動で位置合わせした様子
これを自動でやってみたい

とりあえずARFoundationを使ってImmersalをやるプロジェクトからImmersal系のスクリプトをマルコピして
エラーが出ないようにした

Azure KinectのカメラのIntrinsicsを調べるには
Device.GetCalibration().ColorCameraCalibration.Intrinsics.Parametersというプロパティから参照できる配列に格納されている
float[]らしいけどSingleになってたりする

リクエストを何回か送ってみている
弾に成功するんだけど、なぜか座標変換がうまくいっていないんだよな

座標変換の部分はAzure Kinectのカメラ座標系とUnityのカメラ座標系が違ってしまっているせいかも？

一応ごり押しで調整して、なんとかそれっぽく動くようになった
複数回で成功しているので、自分の環境では これで大丈夫そう