１時間でプロジェクションマッピング

この記事はTouchDesigner Advent Calendar 2022の7日目の記事です。

概要

iPhoneのLiDERセンサーを使用することによって、TouchDesignerを簡単な３次元のプロジェクションマッピングソフトとして使用することが可能です。

原理

LiDERでスキャンすることによって3D空間に現実と同じ配置を読み込んだ上で、3D空間のカメラの画角を現実のプロジェクターの画角と一致させることによって、レンダリングした絵がそのままプロジェクションマッピングになります。

準備

サンプルファイルはこちらからダウンロードできます。
例としてひよこのぬいぐるみを用いて手順を説明します。

プロジェクターの設置とLiDERスキャン

はじめにマッピングしたい範囲が全て画角に収まるようにして、プロジェクターを設置します。

任意のLiDERスキャンアプリ（今回はScanverseを使用）を使用して3Dスキャンします。
ポイントとなるのは、スキャンする対象をマッピングする物体（ひよこのぬいぐるみ）だけでなくプロジェクターも含めて行うことです。

モデルの読み込みとレンダリング

3Dデータをパソコンに転送してTouchDesignerで読み込みます。
Geometry COMP、Camera Compを配置して、Constant MATなどでモデルに付属しているテクスチャを貼り付けて、読み込んだ3Dデータをレンダリングする準備をします。

画角の位置合わせ

Geometory Viewを見ながら、Camera COMPのXYZ位置を調整してプロジェクターのレンズがある位置に合わせます。
次にCamera COMPの角度を調整して、プロジェクターの向きとカメラの向きが一致するようにします。

レンダリング結果をWindow COMPでプロジェクターから投影します。
プロジェクターに写っている画像をもとに最後の微調整として、Camera COMPのFOVとX周りの回転角（あおり角）を調整します。
必要があればプロジェクターの位置を手作業で修正するなどして調整を行います。

以上で3D空間でのカメラの画角と現実のプロジェクターの画角が一致します。

プロジェクション

3Dモデルの配置とカメラの位置は固定されてしまったので、それ以外のパラメータを変更することによって映像を変更することが可能です。
簡単な変更としてはLightの配置やMATファイルを変更することによって動きをつけることができます。

ライティング

Light COMPの位置を変更することによって、あたかも現実の光源が移動しているような様子を再現できます。
また、MATのパラメータを操作することによって質感が変化したように感じられて面白いです。

カラーマップ

スキャンしたモデル以外のカラーマップを使用することによって、表面に映像を貼り付けることが可能です。
読み込んだモデルに対してTexture SOPを使用することでUVを変更することができるので、複雑な形状でも平面のスクリーンのように使用することができます。

複数プロジェクター

スキャンするプロジェクターの台数を増やすだけで、複数台のプロジェクターでのマッピングに簡単に応用可能です。
２台のプロジェクターでクスノキの前面をマッピングしましたが、それなりの精度で演出することが可能でした。

終わりに

プロジェクションマッピングのソフトを購入せずとも、無料でも利用可能なTouchDesignerとiPhoneでプロジェクションマッピングが可能です。
例で示している作業はいずれもスキャンしてから１時間以内にプロジェクションまでの準備が完了しており、普通のVJイベントの準備でも十分利用可能です。
この方法によって、イベントの演出の方法の自由度向上や、平坦なスクリーンの確保が難しい野外での演出の可能性が広がると幸いです。