【VR学まとめ】4.2.3 聴覚レンダリングとモデル

はじめに

この記事は一人VR技術者認定試験 Advent Calendar 2018の18日目の記事です。

バーチャルリアリティ学の4章「バーチャル世界の構成手法」の内容をまとめていきます。
書籍の方も是非ご購入いただいた上でご利用ください。

4 バーチャル世界の構成手法

4.2 レンダリング

4.2.3 聴覚レンダリングとモデル

(1) 3次元音空間の聴覚レンダリングモデル

• 両耳の2入力から3次元音空間を知覚
• 広帯域音を音空間全域に渡り高精度でレンダリングするのは現段階で不可能
• 聴覚ディスプレイで用いるモデル
  • 音場再現モデル
    • 音場全体を再現するモデル
    • 立体分割法
    • 音場直接合成法
  • 両耳間伝達関数モデル
    • 音源からそれぞれの耳まで音を計算
    • 音像定位伝達関数合成法
    • 両耳型聴覚ディスプレイ

(2) 音響物理現象のレンダリングモデル

• 音場直接合成法や音像定位伝達関数合成法では伝達関数を用いる
  • 室伝達関数 (RTF)
  • 頭部伝達関数(HRTF)
• 音響物理現象を伝達関数の形で表現する
  • 伝達遅延
  • 減衰
  • 反射
  • 回折

引用元: バーチャルリアリティ学

• 距離減衰と遅延
  • 直接音に対し距離に応じた減衰と遅延を加える
  • 高周波数では空気吸収が結構あるので考慮する
• 反射波
  • 幾何音響理論
    • 音線法
      • 音源から放射された音線を追跡して時間範囲内の音線を計算
      • 反射音の次数によらず計算量が一定
      • ある時刻、ある点の音を求めることができないため不向き
    • 虚像法
      • 反射面の無効に虚像を定義して、反射の次数を決めて計算
      • 次数に対して指数関数的に計算量が増加する
    • 音の波動性は考慮されていない
      • 低周波数の精度が低い
      • 小さな反射面では拡散を考慮する工夫なども
• 後部残響音
  • 時間経過に伴い反射波の密度が上昇するため波面は方向性が弱まる
  • 丁寧な取扱は大きな手間がかかり、効果も少ない
• 回折
  • 人の気配などをレンダリングするために必要
  • 解析解を使い物体の端線毎に信号処理を行う
  • 低周波数で起こる低域通過型の現象
• ドプラ効果
  • 音源か聴取点が移動する場合に必要
  • 通常の信号処理は線形時不変を仮定しているため工夫が必要
  • 直接法
    • 移動速度に応じて周波集を直接シフトさせる
    • 汎用性に難あり
  • バーチャルな音伝搬路を設ける方法
    • 遅延線の形で設け相対速度に応じて読み込みポインタを移動させる、など

(3) 聴覚ディスプレイの将来像

• DSPチップなどハードウェア的に行うことも可能
• PCミドルウェアとしてパッケージ化すると低コストで利用可能に
• 境界要素法(BEM)は数値解析法に酔って波動性も考慮した総合的な形
• 音場全体の空気粒子のふるまいとして高速計算する検討も進んでいる

まとめ

音には時間差があるため、視覚レンダリングと違い計算が複雑になる場合があると思いました。

一人VR技術者認定試験 Advent Calendar 2018の19日目は【VR学まとめ】4.2.4 力触覚レンダリングとモデルです。