自力でImmersal REST APIによる位置合わせをする in Unity
にー兄さんImmersalを使うのに毎回Immersal公式サンプルを使っているので、思い切って自力でSDKを使わずに位置合わせをしたい
ただ別に自力でアルゴリズム構築するとかではなく、用意されているREST APIを使うだけだけど......
にー兄さんあとImmersalSDKがunitypackage形式の配布だし、developer portalから取得する形だし、OSSじゃないのでちょっと使いづらいなぁとか思っていた
この思考が成功して余力があったらgitからPackage Manager経由でインポートできるライブラリにしたいかなぁって思う
にー兄さんたぶん前にWebARでやった時ほどの修羅の道じゃないと思う
Unityを使うのでARFoundationやtransform系のAPIの恩恵を得られる
最悪SDKを参考にすることもできるし
にー兄さんImmersal REST APIで位置合わせを行うためには、
- mapID配列
- base64エンコされた画像
- 光学中心
- 焦点距離
- トークン
などの情報が必要。
にー兄さんARFoundationでは2.1くらい？からカメラの内部パラメータを取得できるAPIを提供している。
にー兄さんまた、カメラ画像の取得はUnityのAPIからでもARFoundationからでも可能になっている
どっちがいいのかわからないけど、なんとなくARFoundationを使いたい感じがする
にー兄さんARFoundationから取得したカメラ画像データはテクスチャデータに変換でき、
テクスチャデータからbase64円越された文字列を得るには以下のリンクを参考にしたい
にー兄さんここまででおそらくリクエスト自体は飛ばせるはず
にー兄さんとりあえずUnity 2020.3.11を使ってサクッとURP＋ARFoundasion＋ARCoreのシーンをセットアップ
実機でも動作確認done
にー兄さん点群のデータが欲しいと思い、Keijiro/Pcxをインポートしてみた
これでImmersalのply点群をインポートしたところ、いい感じにいなった
にー兄さん準備はできたので、ARFoundasionの情報を使ってImmersalにリクエストを送ってみるまでやって見よう
にー兄さんImmersalの情報はScriptableObjectにまとめておく方式でやりたい
にー兄さんUnityから試しにImmersalにlocalizeのリクを飛ばしてみたが、なぜか
{
error: "map count"
}
から無限に脱出できない
にー兄さん上記の問題がC#やUnityによるものなのかわからないので、いったんWebクライアントからもやってみる
Webからは前に成功しているので、たぶんやり方は分かるはず
にー兄さんん－なんとなくUnityのせいではない気がしてきた
というのも、なぜかWeb側でやっても400 Bad Reqが飛んでくるので
自分の理解不足なのだろうか......
いやでも前はできたんだけどな
にー兄さん公式のPythonのサンプル試したらやっぱりmap countでエラーになった
これ自分が悪くないやつだな？
にー兄さんあれからいろいろあって、ARFoundationの恩恵を十分に受けながら位置合わせのリクエストを送り、
なんとか成功した。
ん－でも精度が悪い気がする
にー兄さん作業ログを取るのをすっかり忘れてたんだけど、
昨日はImmersalのレスポンスをシリアライズして、そのデータからマップの姿勢を計算したりしたが
ちょっと変な結果になってしまった
にー兄さんImmersalの位置合わせは成功していて、結構同じような結果が返ってきているので
あとは自分の計算の聖な気がする
にー兄さん位置合わせの姿勢計算が失敗している図
にー兄さんquaternionの生成の仕方が間違ってるのかな
ちょっとこのgistに載ってる方法でも試してみたい
もしくはアフィン変換行列を生成してMapを変形させるとか
WebARのときはその実装だった気がする
にー兄さんちょっと不安定だけど、何回かImmersalによる位置合わせができた！ということでひと段落......
にー兄さんあれから色々リファクタリングとかをして、GitHubにプロジェクトを公開した
TryAcquireLatestCpuImageはなぜか所定回実行するとできなくなってしまう問題があるのだが、
それ以外はまぁまぁ動いていると思う
にー兄さん本当はライブラリ化もしたかったけど、不安定な部分があったり
環境の制約（C#8の使用＆UniTask）があるため、いったん保留
これにてスクラップはクローズです
にー兄さん本当はライブラリ化もしたかったけど、不安定な部分があったり
このバグを修正してリファクタをした
結構キレイにできたしよく動作してくれているので
ライブラリ化してみたいなぁと思うなど
このリポジトリをimportによって別のライブラリ用のリポジトリにして、
そこでgit経由で配布したいな
にー兄さん別のリポジトリにインポートして、asmdef切ったりテスト書いたりciでテスト構築したりしていた
にー兄さんなんとかカスタムパッケージとして公開できた
にー兄さん使い方の部分、ドキュメントが追い付いていないんでwikiにまとめたいっすね