Immersalでキャプチャ画像から後でまとめてMap作成をしたい

にー兄さん

目的

Immersal公式のMapperアプリを使うと、キャプチャした画像を逐一鯖に送信することで
Immersalのマップを作成する

この方法だと、wifiがないところや電波が悪いところで使用するときに結構不便だったりするので
REST APIでキャプチャ作業が一通り終わった後に一括でアップロードしたい

こちらに構想メモがある

にー兄さん

すでにRESTでマップ作成されている人が記事を書いていて、
この記事ががっつり参考になりそう

こちらではImmersalのMapperを改造しているので
今回はスクラッチで作ってみる

にー兄さん

どういう仕様にしようか迷う(激うまギャグ)

画像キャプチャはpngとして保存していく
キャプチャ時のカメラの姿勢はjsonに配列でどんどん貯めて最後に出力
画像の名前とカメラ姿勢の配列インデックスを対応させておく
カメラパラメータやマップの名前などもjsonに格納しておく
20枚の写真をとったら、20枚の画像と１つのjsonが出力される感じ
データはpersistantDataPath/日付の中に展開する

みたいに記録していくのがいいかな

にー兄さん

2020.3.11f1でUnityプロジェクトを作成
builtin-RPでいく

にー兄さん

ARFoundationとARCore XR Pluginを入れて、Androidにスイッチして
Vulkanを削除してカラースペースをLinearにする
MininmalAPILevelを8.1の27に設定
Scriptingbackendは、いったんMonoと.netcore2でやってみよう、ビルド速そうだし
あとからunsafeコードの許可が必要な予感がする

XR Plugin ManagementでARCおれにチェックを入れる

にー兄さん

やっぱりURPに設定しよう
URP 10.5.1をインポートして、Pipeline Assetを追加する

にー兄さん

そこで生成されたScriptablObjectをPipelineSettingsに突っ込む

それから、同じタイミングで生成されたxxx_Render.assetの中のAdd Render FeatureからAR Background
　Rendererを追加する

にー兄さん

新しいシーンを作成したら、AR SessionとAR Session Originを追加する

にー兄さん

既存のmain cameraは削除する

にー兄さん

テキトーにシーンにキューブを配置したのち、設定がちゃんとできているか確認するために
いったんAndroidビルドを行う

にー兄さん

無事にキューブを召喚できたのでARの設定は完了

にー兄さん

考えずに実装してたらRESTでマップを生成する処理から書こうとしていた（おい
いったん実装の手順を整理したいかも

ARCameraからCPUImageをCapture
persistantDataPathに画像を保存する
キャプチャした瞬間のカメラパラメータと姿勢をメモリに保存
ボタンなどのアクションでjsonとしてpersistantDataPathに保存

一旦これまでを実装する。
この時は日付とか関係なしにpersistantDataPathに直でファイルを展開してしまってよさそう
そのあとに

persistantDataPathから画像とjsonを入力
Immersalにリクエストを送信し確認
何枚か送信してmap constructを実行してみる
最後に全部をまとめる

にー兄さん

Immersal REST APIのMapConstructionのリクエスト、ドキュメントの中で揺れていて草
どれが正しいんじゃ

にー兄さん

とりあえずARのカメラ画像を取得→テクスチャへ変換までが完了した
ちゃんと非同期で動いていてとても偉い！
非同期処理への理解も深まりました。とは言ったもののたまにアプリごと落ちたりするのでまだ完全じゃないかも？

にー兄さん

ありがたいことにアドバイスをいただけたので、実践してみよう

にー兄さん

普通に実行できた。嬉しい

にー兄さん

実は初めてAndroidで実機デバッグをやったのだけど、Quality of Developmentが100倍上がって嬉しい

にー兄さん

画像以外の必要なデータを整理する

まず、キャプチャごとに必要なデータは

カメラの姿勢
- 位置
- 回転クォータニオン
run→trackingState（というかずっと0でもいいかなって思う)
anchor→そもそもImmersalでanchorという概念が何を指しているのかわからない。falseでいいか
世界座標
- 緯度経度高さ

にー兄さん

マップ作成中変わらないデータは

トークン
マップの名前
カメラパラメータ

jsonに記載する必要がないデータは

画像のインデックス

にー兄さん

マップのjsonデータ、ひとまずこれで行ってみよう

using System;
using System.Collections.Generic;
using UnityEngine;

namespace ImmersalRestMapConstructor.CaptureData
{
    [Serializable]
    public struct CaptureImageInfo
    {
        public string b64; // base64 encoded texture
        public Pose pose;
        public int run; // incremented when tracking failed
        public bool anchor;
        public float longitude;
        public float latitude;
        public float altitude;
    }

    [Serializable]
    public struct CaptureMapInfo
    {
        public string token;
        public string name;
        public Vector2 focalLength;
        public Vector2 principalOffset;
        public List<CaptureImageInfo> images;
    }
}

にー兄さん

b64いらないやんけ！ってなったので消しました

にー兄さん

LocationServiceを使って位置情報を取得することもできた

にー兄さん

マップのデータをjsonで保存することにも成功した
あとは画像を保存してリクエスト多くってみる

にー兄さん

日を跨いでの作業
まずは画像を保存してみる。ヌルヌル動く状態で保存したい
あと、Cameraパラメータは毎回取得したほうがいいのか検証したい
スマホって横向きにしたらカメラパラメータ変わる？

にー兄さん

画像を保存してみたら、なんか横向きになってるな？

issueにもあったんだけど、カメラのセンサ状態をそのまま取得しているのでしょうがないんだとか
そうなんか...

にー兄さん

まぁでも位置合わせもこれと同じデータでやってたし、トリマこのままで行ってみるか
MirroXだけ適用する

にー兄さん

カメラIntrinsicsも一旦このままでやって見よう
ホントは横向きでの撮影にも対応させたいが
それか横向き強制にしようかな？

にー兄さん

画像ファイル保存、非同期で書いてるはずなんだけどカクツクな......

にー兄さん

一応何枚かキャプチャとjsonを取得できたので
これを使ってmapを生成できるか試してみたい

キャプチャはプロジェクトのPersistantDataPathに保存してあるので
エディタからテストすることが可能である

にー兄さん

途中マップ作製をWebブラウザとかで実装しようかちょっと迷ったけど
Quaternion→Mtrixの変換とか何使おうか迷ったので後回し

のちのち、アップロードしたファイルからWebGLでカメラの撮影位置をレンダリングしてみたら面白そう
そのままマップ作製できるWebアプリ、いいな

にー兄さん

persistantDataPathからデータの読み込みを確認できた

Immersal APIに画像をリクエストしてマップ作成のリクエストまでできた
しかしマップがfailedしてしまった......

にー兄さん

あと一歩なのに......マジでよ～～～～

にー兄さん

画像を回転させてみたり、MirroXをNoneにして見たり、最初の画像をanchorにしてみたり、パターン替えて色々やってみたが全部failedしてしまった
普通にMapperアプリでやったときは成功しているので、実装に間違いがあるらしい

あと、failedするのが速い
何か根本的な原因があるのかもしれないな

にー兄さん

いっかいQiitaの記事を通りに実装してみるandコードリーディングが必要な気がしてきた

にー兄さん

日を改めてのログ
immersal-ar-sdkのリポジトリを見てみると、どうやら2020.3.18f1にアプデされてた
CoreSDKも1.14.0になったし、どんな感じなのか見ていこう

にー兄さん

2018アンスト祭とかやってたら時間が結構かかってしまった、2時間くらい環境整えるのに使ってしまった

にー兄さん

Immersal-ar-sdkのMapperAppを見てみている
このサンプルはこのシーンだけビルドすればログインした後にAutomaticMapperやMapVisualizerを使うことができる便利なシーンである。
シーン自体は Assets/ImmersalSDK/Samples/Scenes/MappingApp.unityにある

にー兄さん

シーン自体を開くとログイン画面しかないけど、
LoginManager.cs(Assets/ImmersalSDK/Samples/Scripts/Mapping/AutomaticCapture/AutomaticCaptureManager.cs)を見ると、ボタンを押した後に m_MappingUIなるgemaObjectをInstantiateしている

にー兄さん

public void EnableMappingMode()
        {
            if (m_MappingUI == null)
            {
                m_MappingUI = Instantiate(mappingUIPrefab);
            }
            else
            {
                m_MappingUI.SetActive(true);
            }
        }

にー兄さん

MappingUIプレハブはLoginManagerを同じゲームオブジェクトにアタッチされている、ToggleMappingModeというスクリプトにアタッチされているプレハブ

開いてみるとこんな感じ
ログインした後のUIが全部いりのcanvasらしい
プレハブの場所はAssets/ImmersalSDK/Samples/Prefabs/Mapping/Mapping UI.prefab

にー兄さん

MappingUIの中で、▷ボタンを押すとAutomaticMapperが起動する流れになっている

ボタンのコールバックにはAutomaticCaptureManagerの
ToggleMappingメソッドが割り当てられているみたい

にー兄さん

AutomaticMapperでは、マッピングしている間はAutomaticCapturemanager.CaptureImages()というコルーチンが起動しているっぽい
この中でマップ作成のライフサイクルが回っている

にー兄さん

コルーチンの中ではAutomaticCapture.Captureメソッドが呼ばれている
こいつがキモっぽいんだよなぁ

にー兄さん

ちなみにAutomaticCaptureめちゃくちゃ便利そうだったので、
最大枚数を300枚にしてRGBキャプチャをtrueに設定した
これは使っていきたい

にー兄さん

AutomaticCapture.Capture()の中ではAsyncCaptureJobというキャプチャの処理を意味するオブジェクトが作られ、
そのジョブの設定をしていき、ジョブのキューに放り込むということがされているみたい

AsyncCaptureJobはAsyncJobというクラスを継承しており、
AsyncJob.RunJobAsync()メソッドをオーバーライドしている
おそらくcaputre以外の処理もすべてAsyncJobに共通化されていて、キューの中に入ったジョブはRunJobAsyncを次々に実行されていく構図になってるんだと思う

にー兄さん

AsyncCaptureJob.RunJobAsyncの中身を深掘ってみれば、
最終的なデータがどんな風に保存されているのかを見ることができる

にー兄さん

RunJobAsync()の中身、割と普通のことが書かれているなぁという印象
ただちょっと気になるのが、JobCaptureAsyncにあるencodedImageとimagePathという
プロパティがあって、どうやらencodedImageは使われていないっぽい

にー兄さん

byte[] image = File.ReadAllBytes(imagePath);

という感じで画像のbyte列を取得しているんだけど
ここだけどんなデータなのかがパッと見わからなかった

にー兄さん

ん－png画像のバイナリデータが妥当か
このimagePathって具体的にどんな値が入るのか
そのpathにはどんな画像が入っているのか調査したい

にー兄さん

ちなみにRunJobAsyncではhttpリクエストをしているけど、UnityWebRequestは使っていなかった

にー兄さん

AutomaticCapture.cs、1.14.0になるまではなかったんですね
history見てて思った

にー兄さん

Pathにはやはり画像的なものが入っているっぽい
AutomaticCapture.Capture()の中で、XRCpuImageを処理している部分があるんだけど、
その中で唯一よくわからないのが個々のコード

にー兄さん

その直前にあるGetPlaneDataRGBではXRCpuImageからbyte列を取得しているものの、
そのあとになぜかかなり低レベルなコードが出現している
ImmersalCoreSDKふぁオープンじゃないので見せられないけど、
なにかのdllからインポートした処理を実行している、GCAllocとか言う文字も見えるし、
何をしているのかわからない