2021.2から導入されたらしいMesh.GetVertexBuffer APIを試す

にー兄さん

目的

Unity 2021.2のドキュメントに載っているMesh.GetVertexBuffer APIを試す
Azure Kinectの点群(位置だけ？)を頂点情報に流し込んでみる

にー兄さん

UnityのAPIドキュメント

にー兄さん

GetVertexBuffer()はGraphicsBufferオブジェクトを返すので、
これをComputeShaderで処理することで頂点の位置を変化させる

にー兄さん

GraphicsBufferは名前の通りバッファオブジェクトで、ComputeShaderのRWByteAddressBuffer型の変数にバインドして使います
GraphicsBufferはもともとComputeBufferを使っていましたが、2020～はGraphicsBufferを使ったほうが良いという記事があります

にー兄さん

自分はComputeShaderは詳しくないので、keijiroさんのNoiseBallというサンプルを参考に
それを紐解いていきながら試してみるという流れにしたい
https://github.com/keijiro/NoiseBall6

にー兄さん

実装イメージとしては

MeshやMeshFilterの初期化
MeshからVertexBufferを取得し、ComputeShaderにバインドする
Azure Kinectを初期化しカメラを起動
点群情報を取得（Short3[]からVector3[]とかに変換しておく）
点群からGraphicsBufferを生成してComputeShaderに渡す
点群バッファから頂点バッファを計算し更新
４～６を繰り返す

って感じ？

にー兄さん

メッシュオブジェクトでPointCloudを表現するためにはmesh.setIndicesでMeshTopologyというものを指定する。
これでPointにすれば頂点が点でレンダリングされる。OpenGLでもこういう感じのことするもんね

にー兄さん

yoshinagaさんのこちらの記事でいい感じに使われている

にー兄さん

頂点位置は良いものの、頂点色やポイントのサイズを指定する場合はv/fシェーダを書かないといけない
ここが参考になる

にー兄さん

なんとなくまだプロジェクト自体には手を付けられておらず、外堀を埋める感じでComputeShaderの勉強などをしている

にー兄さん

カーネル、スレッド、グループあたりの理解が厳しい
めーぷるさんの記事とかYocchyさんの記事とかを見ている

にー兄さん

ComputeShaderでやることとしては、AzureKinectで取得した点群情報をMeshのVertexBufferに書き込むことまで

VertexBufferはGetVertexBuffer メソッドで取得できるんだけど、keijiro先生および公式のサンプルでは
RWByteAddressBufferという型でComputeShaderにバインドしている

ComputeShaderのサンプルでよく見るBufferというえばRWStrcturedBuffer<T>型なんだけど、
こちらは構造体をジェネリクスに取れるのにたいしてRWByteAddressBufferはバッファ単位で読み書きをするためのバッファらしい

にー兄さん

AzureKinectから取得できる点群は、デフォルトではShort3型という、Microsoft.Azure.Kinect.Sensor名前空間に存在する構造体になっている。
_xyzImage.GetPixels<Short3>.ToArray()とすればShort3の配列が返ってくるので、
これを模した構造体をComputeShader内に作ってRWStructuredBuffer<Short3>でバインドすれば取得できると思う

にー兄さん

Short3のコード

にー兄さん

HLSLにはmin16intという16bit整数があるらしい

ということはこんな感じの構造体で良いのかしら

struct Short3 {
  min16int X;
  min16int Y;
  min16int Z
}

にー兄さん

Kinectの点群取得からComputeShaderで使うまでは何となくできるかもだけど、
まだRWByteAddressBufferとして渡されたVertexBufferを操作の方法を理解していない
あとスレッドってどの値を設定すればいいのか、とか