<p data-line="0" class="code-line"><a href="https://www.jendrikillner.com/post/graphics-programming-weekly-issue-371/" target="_blank" rel="nofollow noopener noreferrer">Graphics Programming Weekly</a> で 3DGUT という手法が言及されていて、3DGS について何も知らなかったのでついでに調べてみよう、ということでちょっとだけメモ。</p>
<p data-line="2" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__7bec23edb8a4a" src="https://embed.zenn.studio/card#zenn-embedded__7bec23edb8a4a" data-content="https%3A%2F%2Fresearch.nvidia.com%2Flabs%2Ftoronto-ai%2F3DGUT%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://research.nvidia.com/labs/toronto-ai/3DGUT/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://research.nvidia.com/labs/toronto-ai/3DGUT/</a></p>
<h2 id="3dgs-(%3D-3d-gaussian-splatting)-%E3%81%A8%E3%81%AF" data-line="4" class="code-line">
<a class="header-anchor-link" href="#3dgs-(%3D-3d-gaussian-splatting)-%E3%81%A8%E3%81%AF" aria-hidden="true"></a> 3DGS (= 3D Gaussian Splatting) とは</h2>
<p data-line="6" class="code-line">これを読めばばっちりです（変に説明するとボロが出そうなので省略！）。</p>
<p data-line="8" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__21355a13e1fba" src="https://embed.zenn.studio/card#zenn-embedded__21355a13e1fba" data-content="https%3A%2F%2Fqiita.com%2Fnokonoko_1203%2Fitems%2F2ce965620a630481ff03" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://qiita.com/nokonoko_1203/items/2ce965620a630481ff03" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://qiita.com/nokonoko_1203/items/2ce965620a630481ff03</a></p>
<h2 id="3dgs-%E3%81%AE%E5%BC%B1%E7%82%B9" data-line="10" class="code-line">
<a class="header-anchor-link" href="#3dgs-%E3%81%AE%E5%BC%B1%E7%82%B9" aria-hidden="true"></a> 3DGS の弱点</h2>
<p data-line="12" class="code-line">3DGUT のペーパーで主張されていることとして、3DGS には以下の弱点があるそうです。</p>
<ul data-line="14" class="code-line">
<li data-line="14" class="code-line">理想的なピンホールカメラを前提としたモデルになっていて、魚眼レンズなどでは誤差が大きい</li>
<li data-line="15" class="code-line">secondary ray が使えない（つまり反射や影などが表現できない）</li>
</ul>
<p data-line="17" class="code-line">1点目に関しては、<a href="https://arxiv.org/abs/2409.04751" target="_blank" rel="nofollow noopener noreferrer">Fisheye-GS</a>のように特化した手法も考え出されていますが、カメラに合わせて都度モデルを作って学習しないといけないので 3DGUT の方が汎用性が高い、と主張しています。</p>
<h2 id="3dgrt-(3d-gaussian-ray-tracing)-%E3%81%A8%E3%81%AF" data-line="19" class="code-line">
<a class="header-anchor-link" href="#3dgrt-(3d-gaussian-ray-tracing)-%E3%81%A8%E3%81%AF" aria-hidden="true"></a> 3DGRT (3D Gaussian Ray Tracing) とは</h2>
<p data-line="21" class="code-line">去年7月ごろ？に公開された手法で、Nvidia の研究者によるものです。SIGGRAPH Asia 2024 で発表されています。</p>
<p data-line="23" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__210d36f7a8c4d" src="https://embed.zenn.studio/card#zenn-embedded__210d36f7a8c4d" data-content="https%3A%2F%2Fgaussiantracer.github.io%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://gaussiantracer.github.io/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://gaussiantracer.github.io/</a></p>
<p data-line="25" class="code-line">詳しくは↑のリンク先にある図を見てもらうといいと思いますが、3D点群を近似して<a href="https://en.wikipedia.org/wiki/Bounding_volume_hierarchy" target="_blank" rel="nofollow noopener noreferrer">BVH (Bounding Volume Hierarchy)</a>をつくって、そこに ray を飛ばします。「k 回衝突したらその結果で色を更新する」みたいなあたりがよくわからなかったんですが、以下の Spatial AI 勉強会のスライドを見たらなんとなくわかった気になれました（わかったわけではない）。</p>
<p data-line="27" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__cfad699f2a0ad" src="https://embed.zenn.studio/card#zenn-embedded__cfad699f2a0ad" data-content="https%3A%2F%2Fspeakerdeck.com%2Fspatial_ai_network%2Flun-wen-du-mi-3d-gaussian-ray-tracing-fast-tracing-of-particle-scenes" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://speakerdeck.com/spatial_ai_network/lun-wen-du-mi-3d-gaussian-ray-tracing-fast-tracing-of-particle-scenes" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://speakerdeck.com/spatial_ai_network/lun-wen-du-mi-3d-gaussian-ray-tracing-fast-tracing-of-particle-scenes</a></p>
<h2 id="3dgut-(3d-gaussian-unscented-transform)" data-line="29" class="code-line">
<a class="header-anchor-link" href="#3dgut-(3d-gaussian-unscented-transform)" aria-hidden="true"></a> 3DGUT (3D Gaussian Unscented Transform)</h2>
<p data-line="31" class="code-line">3DGUT は、去年の12月ごろに公開された手法で、3DGRT と同じく Nvidia の研究者によるものです。Unscented transform というのは sigma point という分布の重心のようなもの？を計算するために使われる変換です。非線形のカルマンフィルタで用いられるものらしいです。</p>
<p data-line="33" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__9c5e20e5fc11d" src="https://embed.zenn.studio/card#zenn-embedded__9c5e20e5fc11d" data-content="https%3A%2F%2Fresearch.nvidia.com%2Flabs%2Ftoronto-ai%2F3DGUT%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://research.nvidia.com/labs/toronto-ai/3DGUT/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://research.nvidia.com/labs/toronto-ai/3DGUT/</a></p>
<p data-line="35" class="code-line">以下の図は↑のURLからの抜粋ですが、左が 3DGRT、真ん中が 3DGS、そして 3DGUT です。理論的なところはあまり理解できてないんですが、3DGS はいちど 2D に投影した値に対して学習を行っているのに対し、3DGUT は sigma point に対して 3D 空間で行っているので、非線形の投影変換になるカメラでも誤差が小さいし secondary ray からの光も計算できる、ということのようです。強みは 3DGRT と同じで、計算が 3DGRT より軽い、というのが売りみたいです。</p>
<p data-line="37" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/ac8647e50cc2-20250131.jpg" loading="lazy" class="md-img"></p>
<p data-line="39" class="code-line">ちなみに、unscented は「無臭の」みたいな意味らしいですが、なぜこの名前なのかというと、これを考案した Jeffrey Uhlmann さんが「Uhlmann filter」と呼ばれるのを嫌って、同僚の机の上にあった制汗剤から適当に取った単語らしいです（以下の wikipedia の references のひとつめ参照）。</p>
<p data-line="41" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__4167802529c1" src="https://embed.zenn.studio/card#zenn-embedded__4167802529c1" data-content="https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FUnscented_transform" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://en.wikipedia.org/wiki/Unscented_transform" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://en.wikipedia.org/wiki/Unscented_transform</a></p>
<h2 id="%E3%82%88%E3%81%8F%E3%82%8F%E3%81%8B%E3%82%89%E3%81%AA%E3%81%84%E7%82%B9" data-line="43" class="code-line">
<a class="header-anchor-link" href="#%E3%82%88%E3%81%8F%E3%82%8F%E3%81%8B%E3%82%89%E3%81%AA%E3%81%84%E7%82%B9" aria-hidden="true"></a> よくわからない点</h2>
<h3 id="3dgrt-%E3%81%8C%E3%81%A9%E3%82%8C%E3%81%8F%E3%82%89%E3%81%84%E9%87%8D%E3%81%84%E3%81%AE%E3%81%8B" data-line="45" class="code-line">
<a class="header-anchor-link" href="#3dgrt-%E3%81%8C%E3%81%A9%E3%82%8C%E3%81%8F%E3%82%89%E3%81%84%E9%87%8D%E3%81%84%E3%81%AE%E3%81%8B" aria-hidden="true"></a> 3DGRT がどれくらい重いのか</h3>
<p data-line="47" class="code-line">まずよくわからないのは、3DGRT のパフォーマンスがどれくらい問題になるのか、という点です。まあ ray tracing って言うくらいなので重いんだろうな、とは思うんですが、中の人は「100fpsで動くよ！」と言っています。</p>
<p data-line="49" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-tweet"><iframe id="zenn-embedded__43d0c53dd216e" src="https://embed.zenn.studio/tweet#zenn-embedded__43d0c53dd216e" data-content="https%3A%2F%2Fx.com%2Fashmrz10%2Fstatus%2F1833124234890981845" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://x.com/ashmrz10/status/1833124234890981845" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://x.com/ashmrz10/status/1833124234890981845</a></p>
<p data-line="51" class="code-line">まあデバイスによるんだろうと思うんですけど、3DGRT で実際どれくらいパフォーマンスが出るか知りたいところです。</p>
<h3 id="%E3%81%A9%E3%81%86%E3%81%84%E3%81%86%E5%AE%9F%E8%A3%85%E3%81%AA%E3%81%AE%E3%81%8B" data-line="53" class="code-line">
<a class="header-anchor-link" href="#%E3%81%A9%E3%81%86%E3%81%84%E3%81%86%E5%AE%9F%E8%A3%85%E3%81%AA%E3%81%AE%E3%81%8B" aria-hidden="true"></a> どういう実装なのか</h3>
<p data-line="55" class="code-line">そのためには手法を試したりしたいところですが、3DGRT も3DGUT も参考実装はなさそうなので、今のところ気軽に試せる感じではなさそうです。</p>
<h3 id="3dgs-%E3%81%A7%E3%81%AF%E3%81%A0%E3%82%81%E3%81%AA%E3%81%AE%E3%81%8B" data-line="57" class="code-line">
<a class="header-anchor-link" href="#3dgs-%E3%81%A7%E3%81%AF%E3%81%A0%E3%82%81%E3%81%AA%E3%81%AE%E3%81%8B" aria-hidden="true"></a> 3DGS ではだめなのか</h3>
<p data-line="59" class="code-line">3DGS の弱点として挙げられていた点は、実際どれくらい問題になるのでしょうか。</p>
<ul data-line="61" class="code-line">
<li data-line="61" class="code-line">
<p data-line="61" class="code-line">1点目の「魚眼レンズなどでは誤差が大きい」ということについて言えば、通常のレンズでも魚眼レンズでも使える汎用性はどれくらい必要なんでしょう。実は同じデータを両方で使うケースあまりなかったりしない？</p>
</li>
<li data-line="63" class="code-line">
<p data-line="63" class="code-line">2点目の「secondary ray が扱えない」について言えば、たしかに反射とかはそうですけど、影は別でつけてなんとかなってる感じもします。そんな感じで、3DGS 単体では弱点あるけど、他のテクニックと組み合わせれば実質あまり差がないことも割と多かったりする？</p>
</li>
</ul>


3DGS、3DGRT、3DGUT についてのメモ

Discussion