VRChatでフォトグラメトリ博物館ワールドを作る
えいとびーと2022年9月5日
九州大学の1400点のフォトグラメトリ生物データに感動し、バーチャル博物館を作ろうと思い立った。このスクラップは制作の備忘録も兼ねて書いていこうと思う。なんか、バイオハザードの研究者日誌みたいでカッコいいじゃん？的な的なテキーラな感じで残していこうと思う。
https://twitter.com/eightbeat8b/status/1565962487367073793?s=20@tweet
やばいやばい
九州大学が、フォトグラメトリした生物1400点をデータで公開展示してる
しかも利用可能だって！
自分フォトグラメトリが趣味でして
毎日酒やアルコール（同じやろがい ラーメンをフォトグラメトリして3Dデータに残しているんです
それをVRChatにもっていって遊ぶのが趣味なんですね
それで、いつか日本一周するという夢もありまして
そこで出会った建造物や食べ物、マスコットをフォトグラメトリして
旅のデータを3Dで残すという野望がありました
そんな中聞いた九州大学のニュース！
フォトグラメトリした生物1400点が配布！
これはやるしかねぇ！フォトグラメトリバーチャル博物館！
夢が叶ってしまう・・・フォトグラメトリした3Dを陳列したヴァーチャル博物館を作る夢が・・
というわけで早速取り組んでいこうと思う
今回はその備忘録、日誌としてZennに残すことにしました
こんなアイデアどうすか？など皆さん気ままに書き込んでください〜 ってまだ何もできてないけどね〜
えいとびーととりあえずイメージとしては アバター展示会みたいなかんじかな（もっと密にだけど
さまざまな生物がジャンルや生息地ごとに展覧が分かれている
ここがポイントなんですが、せっかくバーチャルなので
・展示物を持つことができるようにしたい
・回転・拡大 がデスクトップ、VR上でできるように
3DもでるとVRの利点を最大に活かした博物館にしたい
くそでかいセミを舐め回すように見られるのはVRだけだもんね！
えいとびーとそうそう、ワールド制作の日誌をZennに残していくわけだから
せっかくなので、VRChat民の最大の壁であるUnityのセットアップの記事を書いているんですよ
それでSDKをダウンロードして・・・とかいてあるんですが
今ってVCCな時代なんですね・・
知らんかったよ・・日進月歩だろ てかVCCってなんだよ
記事書くならVCCを改めて学んだ上で追記していこうかな
できるだけ初心者が迷わないよう、順序立てた記事にしたい！
えいとびーとマリオ64のタカイタカイマウンテン？みたいに、近づくと自分がちっちゃくなっていくギミックで虫の世界を楽しめたりしたり！
えいとびーと９月６日０時
開始早々突き付けられた、ＶＣＣという課題
とりあえず調べてみながらやってみると案外さっくりサンプルプロジェクトできた
ＶＲCHATのことだから、千回くらいエラー起きるんだろうなぁと思ったけど大丈夫そう。
深夜なのでそう長くはできないが、今回はとりあえず九州大学の３Ｄ資料を並べてみてサンプルをビルドテストしてみることにする
フォトグラメトリした生物がどのように見えるのか楽しみだ
ーー
今回博物館ワールドの備忘録も兼ねてZENNに日誌を残すことにしたが、
思いのほか自分の脳にフィットする。
毎回サイトやTODOが頭の中で整理できなかったり、後回しにしたりしたが
ネットに晒すことで自分でも探しやすいし、ケツに火がついている分動き回れるわけだ。
やっぱりケツの穴がツインターボの可燃ジェットなので燃えていたほうが良い
ーー
フォトグラメトリされたモデルを眺めているが、継ぎ目もなく美しいボディ（エルシャダイ感）で感動
個人の野望として、生まれ故郷の沖縄の遺産をフォトグラメトリしてデータに残したいので参考になる。早くデータにしないと沖縄の遺産はすぐ燃えるからなぁ
ーー
論文記事を気合で読んでいる 英語だ
”MRIで内部骨格を撮影できるが、表面のデータは取れないことが課題だった”
そうか、骨格も撮影できているのか。ボタンを押せばモデルの骨が見れると、より楽しいかもしれない。
”この撮影技術をバイオフォトグラメトリと名付ける”
カッコいい。論文で言ってみたい。
フォトグラメトリとは、被写体を３６０度あらゆる方向から撮影し、画像データを合成して３Dにする技術だ。
気になる撮影方法のことだが、地球では宙に浮かせることができない以上どこかで支えているわけで、それが僅かに映り込むはず。
どうやっているのか論文で探してみるとなんと、口から糸で吊るしているようだ。
釣り糸ほどの細さで口から吊り上げるなら確かに継ぎ目も少ない！
ぶらぶらして撮影しづらそうだが、そこは苦労していそう
撮影ポイントは”イカ”三点
・絞り値を小さくする
・背景に反射しづらい黒の素材を使う
・５００枚くらい撮影する（ソフトの制限で５００枚までだった）
500枚という撮影制限から、フォトグラメトリソフトは「3DF Zepher」を使用していると推測。EpicGamesのReality Captureならより多くの枚数を撮影して出力できたので、再撮影頑張ってほしい。EpicGames社がこの記事を見ていたなら、即九州大学に提供するべきだと思う。
”フォトグラメトリの技術課題として、エビのような透き通った生物は精度が低くなる”
この課題は、趣味としてやっている自分も困っている。
透き通ったり、光が反射しやすい素材だと精度が低くなってしまう。
白い陶器のラーメンは辛いよな、わかる。
フォトグラメトリは深層学習で特徴点を列挙し、それをつなぎ合わせるの技術のため、透過や反射しやすい素材は特徴点が低くなってしまい厳しい。
"5mm以下で小さすぎる、または1m以上の大きさは厳しい"
精度が高いフォトグラメトリの場合はこの範囲に収まるよう。
さて、ためにしお魚をダウンロードしてみよう、
あれ、fbxどこ・・・
うーむUnityにもっていけるだろうか、また明日の自分に期待しよう、