Kinectronを使って見る

RGBDってどんな感じだろうと思ったら、
Alphaに8bitでdepthが入ってる、depthにアラインされたcolorらしい
でも8bitってどういうことだ......
流石に256mmだけしか測れないことはなさそうなので、16bit→8bitにマップされてるはずなんだけど
これがsqrtなのか線形補完なのかﾜｶﾗﾝ

にー兄さん

ちなみにこんな感じで512x512の画像らしい

にー兄さん

近い方が色が濃くなっている、ということはAlphaが近いほど1で遠いほど0か
[0-65,536)→[1-0]へのマップかな

にー兄さん

AzureKinectのWFOV 2x2Binnedは512x512でFOVが120d x 120dのdepthカメラ
おそらくこれにマッピングされているんだろう
xytableとかは取得できなさそうだし、z値から自前計算で点群復元かな

にー兄さん

ここにAzureKinectの場合のWebクライアントのサンプルが載っている
three.jsのpoint cloudではただzの値をパーティクルに設定しているだけなので
FoVを考慮していないっぽいが、
それでも使い方は何となくわかって良い

にー兄さん

DepthとRawDepthとDepthKeyという3つのDepthデータがある

まずDepthの説明

"Depth" returns a webp of the depth mapped to a grayscale (0-255) image.

次にRawDepth

"Raw Depth" returns an array of values ranging from 0 - 3860. The values correspond to depth in millimeters. It displays a lossless webp image in the application for testing and feedback.

そしてDepthKey

"Depth Key" returns an array of raw depth values corresponding to the tracked bodies. The values range from 0 - 3860. The values correspond to depth in millimeters. It displays a lossless webp image in the application for testing and feedback.

にー兄さん

Depthは画像化するために0-255にマッピングされたデータらしい
白黒の画像になっている

RawDepthはそのままの値？(でも上限は65,536ではないっぽい)の配列らしい

DepthKeyはボディトラッキングの文脈も絡んでくるんだとか

にー兄さん

本当はRGBDを使いたいんだけど、なんとなくrawDepth or DepthKeyが扱いやすそうな気がしてきた

にー兄さん

ローカルでKinectron動かせた

にー兄さん

ただやはり、点群は完全な復元ではないですね

にー兄さん

AzureKinectの深度カメラのハードウェア仕様

にー兄さん

RawDepthの時、枠が丸ではなく六角形だった
ということはRGBDとは異なりDepthのモードはNFOVということになり、
またexampleを見た感じだと、NFOV 2x2 binnedだと思われる

にー兄さん

とりあえずViteのvanillajsでKinectronのらwdepthを受信するところまでできた
本当はtsで書きたいけど......まぁ動くだけましか

にー兄さん

depthデータから点群復元の式、こんな感じだろうか

にー兄さん

$d$ のところ、なんか違和感感じるなと思ったら3次元的な位置関係を忘れてた
$d$ はさらに $d_x$ と $d_y$ に分かれる。

にー兄さん

（y座標とz座標の）導出の流れとしては、

まずFOVから焦点距離(相対値) $f$ が分かる。これは定数
同時に投影面座標系における位置(UV座標っぽいもの)である $(x_f,y_f)$ が分かる
すると、投影面までの距離が $d_f=\sqrt{x_f^2+y_f^2}$ とわかる $d_f$ はピクセルごとの定数なので最初だけ計算すればよい
次に相似によって焦点から $(0,y,z)$ までの距離が $d_y=d \frac{d_{fy}}{d_f}$ だとわかる。ここで $d_{fy}=\sqrt{f^2+y_f^2}$ である
最後に相似によって $y=y_f \frac{d_y}{d_{fy}}, z=f \frac{d_y}{d_{fy}}$ とわかる
同様にx座標も計算できる