3D Gaussian Splatting

• はじめに
  Unreal Engine 5.7 Previewが9/24にでたからかUnreal Engineのイベントあり参加
  その中で取り扱ってた。こういうので使えるようになると編集が楽とかいろいろ実務で発展しそう。
  最初？の論文を途中までよんだ、その他3D関連全般を16位論文情報をざーと見た
  今こう考えているところで書く。幾つかの勉強会で発表して、質問して追記していくつもり

• 1. どんなもの？
     静止画数枚から、3Dモデルを作成して、任意のカメラ視点で画像作成。
     学習処理手順としては、SfMから点群作成>雲群へ？>2Dへ射影？してからカメラ視点の画像作成(ピクセルに対応)?>loss計算>（画像作成部分更新(2Dへ射影)更新,雲更新,密度制御)を繰り返す
     ラスタライザーはcudaの独自カーネルも使用？
     
• 2. 先行研究と比べてどこがすごいの？
     高精度で高速
     関連研究の2章が長く、面白い、CTMの時と同じ感じ.
     過去の類似点と異なる点に注目しているところとか、いろいろ過去のいいとこをうまく融合させている感じ
• 3. 技術や手法の"キモ"はどこにある？
     3Dモデルに多数の雲を使用(微分可能、穴があかない、GPU計算にあっている）
     密度制御
     推論と誤差逆伝播で速い方法使用
     

密度制御は、カバーできてなければ、雲増やす、大きすぎれば、分割する図

その他、薄くなりすぎたものを削除とかもしてた

4. どうやって有効だと検証した？
   学習も推論も速くて、高精度！
   

5. 議論はあるか？　3Dや画像生成AI全般
   動画AIのできが凄くなってきた。この調子でいくと、3Dモデル+時間でみたり、3Dで中を動き回るのも来年あたりSNSになってたくさんユーザー引き付ける？とか思った
   強化学習につかわれたり、textから3D+時間のものがでてたり、画像理解につかわれていたり、いろいろ進んでいることに気が付けた！その意味でイベントに気が付いてよかった
   以前、BlockNerfっていう実際の街全体を3D化して、自由に動けるのあったが、これとか見た目とリアルタイム性あがるんだろうな。見た目と速さがよくなると使い方変わるってどんなのがあるんだろう？

７．よくわかってないところ
結局ニューラルネットワークみたいなのはない？少なくと雲の部分はニューラルネットワークでない？
学習するのは雲の部分だけでなぜだめなのか？だけでも成り立つ？　誤差の流れが書いてあるだけで学習していない理解でいい？