🚀
Unity Sentisを使って格安で人間に反応するプロジェクションマッピングを作ってみた話[HoloLab DNN Packages]
作ってみたものはこちら
具体的にどういう作品か
macbookのカメラとプロジェクターのみで再現できる作品です。どっちも中古のものを買っているから揃えても14万円以内なはず。学生でもまあギリ、、
macとプロジェクターを同じような位置において、macのカメラに人が映ったら桜のパーティクルが表示されるというめちゃシンプルな作品です。たまにこういう作品あるよね！
AI部分
Yoloという物体検出AIを使用して、macのカメラに人が映っているかを検知しました。Unity Sentisを利用するために、ONNX(ニューラルネットワークのオープンソース的な)を作らなきゃなーと思っていたら、めっっっっっちゃ便利なのがありました。
この拡張を使用して簡単に人間がいるかいないかを取得できました！超絶感謝です！
Unity部分
ここに関してはパーティクルに発光を追加するだけですね。
過去にNovaShader を使用しためちゃ簡単な発光エフェクトを記事にしたので載せます。
CameraのPostProcessingをonにするのを忘れないでね
作ってみた感想
思ったより作れたな、、という感じです。ただプロジェクションマッピングは暗い時ほど綺麗に見えるけど、カメラの検知は明るいほどいいよね、、
LiDARの環境も欲しい、、
Discussion