📚
『バーチャルリアリティ学』１〜４章まとめ

2018/12/24に公開
 はじめにこの記事は一人VR技術者認定試験 Advent Calendar 2018の24日目の記事です。
本アドベントカレンダーでは2日目から22日目にかけて、バーチャルリアリティ学の内容をまとめてきました。私が作業を進める上で細かい単位の投稿は有効でしたが、記事を読む上では不便な状況だと思います。そこで、分割した内容を全て1ページにまとめました。
この記事は、本記事の参照元であるバーチャルリアリティ学を一度でも読んだ方を対象にしています。全ての事項に触れている訳ではないですし、全てについて説明している訳ではないため、本書を読んでいない方には伝わらない部分もあると思います。VR技術者認定試験の前などにご活用ください。

 1 バーチャルリアリティとは
 1.1 バーチャルリアリティとは何か
 1.1.1 バーチャルの意味バーチャルの意味や訳を正しく理解しようというセクションである。
Virtual = 「表層的にはそうではないが、本質的にはそうである」
バーチャルは「本質的な」という形容詞なので、反意語としてはノミナル「名目上の」となる。

よく訳される「仮想」は「仮に想定した」という意味で、本質的であるという意味は持たないので誤用である。

また「虚」と訳されることもあるが、これは「実体のない」という意味であるので誤りである。

整理すると、VirtualはRealと類義語であることが分かる。
次のように訳されることも (太線は引用者によるもの)
Existing in essence or effect though not in actual fact or form
正しい意味のバーチャルの例
バーチャルマネー
クレジットカードや電子決済を意味する言葉
みかけはお金でないがお金としての効果を発揮する

バーチャルカンパニー
従来の会社の体裁はなしていないが、従来の会社と同じ機能を有している = 本質的な会社


 1.1.2 バーチャルリアリティとその三要素バーチャルリアリティは「現実のエッセンス」

エッセンス = 本質的なもの
本質は目的によって変わる。
例: バーチャルヘリコプターの意味の解釈
操縦士のトレーニングが目的の場合
フライトシミュレーター

輸送が目的の場合
気球

バーチャルリアリティの三要素
3次元の空間性
人間にとって自然な3次元空間を構成している

実時間の相互作用性
人間がその中で環境と実時間の相互作用をしながら自由に行動できる

自己投射性
その環境と使用している人間とかシームレスに鳴っていて環境に入り込んだ状態が作られている


 1.1.3 バーチャルリアリティと人間の認知機構バーチャルリアリティが、そこにないのに、そこにあると感じさせる仕組み。

人間が現実をどうやって認識しているかを知る必要がある。
人間は、物自体を認識しているのではなく、人間の認知機構によって認識している。

←人間の認識する世界も、人間の感覚器による一種のバーチャルな世界であると言える。
「認識の本質部分を与えれば等価な認識を与えることができる」という主張。

 1.1.4 バーチャルリアリティの概念と日本語訳日本には本来バーチャルという概念が存在しなかったため、「仮想」というニュアンスが定着してしまった。

バーチャルリアリティの適切な訳は存在しないが、強いて言えば「人工現実感」と訳すのが良い。
また、無理に訳そうとせず、バーチャルはバーチャルという言葉で使うのが良い。

 1.1.5 道具としてのバーチャルリアリティVRは

3C (Creation:創造,Control:制御,Communication:通信)

と

3E (Elucidation:解明,Education:教育,Entertainment:娯楽)

のための道具

 1.2 VRの要素と構成簡単に言うと、以下のような要素の組み合わせによって人工的な現実を生成することが出来る


引用元: バーチャルリアリティ学

 1.2.1 VRの基本構成要素ディスプレイ

感覚入力を模擬するための仕組み

モニターという意味でなく、全ての感覚の提示装置として使われる言葉
入力システム

運動系を通してユーザからシステムに情報を伝えるための仕組み

通常のコンピュータシステムと異なり、より身体的な要素が要求される
シミュレーションシステム

VR世界そのものの構成

リアルタイムシミュレーション

 1.2.2 VR世界のいろいろシミュレーションシステムにはいくつかの状況が考えられる。
100％作り込まれ完結している場合

→シミュレーションゲームなど
現実世界が入り込む場合

→通信回線を通して遠方と繋がる(メディア的な役割)

→ロボットを操作してテレポートしたような感覚を得る(テレイグジスタンス/テレプレゼンス)
計算機世界に接続する場合

→既に存在するデータ世界と複雑に絡み合う

 1.2.3 VRをどうとらえるかAIPキューブ
MITのD.Zeltzerが提案


引用元: https://www.slideshare.net/Sun_san2160/sf-58416544
究極のVRは3要素をすべて満たす(1,1,1)に位置する。
全天球シアター

臨場感はあるが、自立性、対話性がないため、(0,0,1)
ゲーム

それぞれを程々に持ち合わせているため、(0.5,0.5,0.5)
ヒューマンインターフェースの観点
従来: 対話的な関係・第三人称的・メタファ・記号的恣意性

VR: 包括的な関係・第一人称的・身体的
VRの捉え方は多様であり、「インタラクティブなCG」「可視化に注力したシミュレーション技術」など、多面的な見方をするのが良い。

 1.3 VRの歴史ラスコー洞窟の壁画


引用元: http://archeologie.culture.fr/lascaux/fr
古くは古代洞窟の壁画に始まる
1万8000年前
全天球絵画のパノラマ
18世紀から19世紀
イギリスの画家Robert Barkerが始めた360度の絵画
鑑賞者は中央の展望台から周囲に、円筒状に置かれた絵画を見る
大規模なもので円周200m以上に及んだ
ローリル式の絵を巻き取りながら動かすことで動画を表現した「ムービングパノラマ」という手法も
Ultimate Display


引用元: SutherlandのHDM
1968年 I.Sutherlandが提唱
ハーフミラーを介して見る光学シースルーシステム
線画によって描かれた単純なCG映像
METAPLAY


引用元: https://www.slideshare.net/pvdputten/new-media-new-technolog-2015-workshop-2-space
1969年 M. Krueger
インタラクティブアート分野
鑑賞者の姿を作品の映像に合成し、映像が鑑賞者に反応して動く
SENSORAMA


引用元: https://www.researchgate.net/figure/Sensorama-From-web-page-InventorVR-retrieved-in-March-2014-from_fig1_263388241
アミューズメントやゲームの分野
1964年 M. Heilig
街中をバイクに乗って走り回る体感型ゲーム
立体ビデオ映像、音響、椅子の振動、ファンによる風、風景に合わせた臭いなどが組み込まれていた
VCASS
1982 T. Gurness
ヘルメット型HMD
Media Room
1981 MITのMedia Lab
壁面スクリーンの情報を音声、ジェスチャー、ジョイスティックなどで操作
TELESAR
ロボット工学分野
1982年 機械技術研究所 舘暲
テレイグジスタンスの概念の提案

 2 ヒトと感覚
 2.1 脳神経系と感覚・運動
 2.1.1 脳神経系の解剖学的構造と神経生理学の基礎中枢神経系の分類
大脳

感覚や知覚を担う (VRにとって重要)

小脳
運動・姿勢制御・運動学習

脳幹
脊髄と橋
生命の基本的な維持機能

大脳の構成


引用元: バーチャルリアリティ学
大脳半球
間脳
視床や視床下部

大脳皮質の皮下組織
大脳基底核
大脳皮質と視床や脳幹との間を中継する

辺縁系
情動・意欲・記憶・自律神経活動に関わる


中心溝
大脳半球の大きな溝

一次体性感覚野
後部の頭頂部と後頭部
体性感覚を受容
その後ろには二次体性感覚野
高次の信号処理
頭頂連合野
空間知覚



一次運動野
前部の前頭葉
運動刺激を出力

感覚野や運動野は延髄で交差しているので、右脳が左半身、左脳が右半身を支配している
ペンフィールドの地図


引用元: http://nou-reha.com/stroke/whats_stroke/5276
受容器の精度に身体のサイズを合わせた時の図として紹介されていた

 2.1.2 知覚・認知心理学の基礎大きさや奥行きの知覚について
単眼手がかり
陰影
重なり
線遠近法
大気遠近法
きめの勾配
経験的な物体の相対的大きさ
運動しさ

両眼手がかり
輻輳
近くを見つめると寄り目になるやつ

両眼視差

大きさの恒常性

網膜上の大きさが異なっていても、同一の大きさだと知覚できる

 2.1.3 感覚と運動運動の知覚について
網膜上の対象物の移動
移動する物体を眼球で追跡する
遅い運動(視角1~2度/秒)や早すぎる運動(35度/秒)も知覚できない
ベクション
自己運動感
動いていないのに動いているように感じる
映像酔いの原因にもなる

 2.2 視覚
 2.2.1 視覚の受容器と神経系外界の光を知覚する流れ
網膜(retina)
視細胞(photoreceptor)
錐体(すいたい)(cone) - 明所視
S錐体 波長特性のピークは400nmくらい(青)
M錐体 波長特性のピークは500nmくらい(緑)
L錐体 波長特性のピークは600nmくらい(赤)

桿体(かんたい)(rod) - 暗所


視覚情報処理の流れ



引用元: バーチャルリアリティ学
網膜から外側膝状体、一次視野と処理が続く
両眼の情報と、両視野の情報は、一次視野まで独立に処理される
一時視野で初めて統合される
一次視野から頭頂連合野
背側路(はいそくろ)
位置や運動の知覚

一次視野から側頭連合野
腹側路(ふくそくろ)
形や色の知覚

網膜から上丘(じょうきゅう)
眼球運動の制御


 2.2.2 視覚の基本特性このサイトおすすめです

http://www.kecl.ntt.co.jp/IllusionForum/index.html
同化と対比
網膜神経細胞から始める時空間処理に基づく視覚特性
効率的に処理するため

同化
周囲の明るさと同じ方向に知覚が生じること
色相や彩度でも生じる

対比
周囲の明るさとの差を強調するように逆の知覚が生じること

模様が荒いと対比が、細かいと同化が起きやすい


引用元: http://www.noie.co/colorkoza/2250/
順応と残効
下に流れる滝を見続けると、

近くの基準点が静止から下方向に変化(順応)

隣の岩肌に眼を移すと止まっているはずなのに上がっているように見える(残効)
恒常性
網膜上のサイズが異なっていても大きさに違いを感じない
感覚器官(網膜など)に変化があっても知覚が変化しない(恒常性)
頭部が運動して激しくぶれても世界は静止して知覚される(位置の恒常性)
物体を斜めからみてもひしゃげて見えない(形の恒常性)


引用元: http://www.kecl.ntt.co.jp/IllusionForum/v/sizeConstancy/ja/index.html

 2.2.3 空間の知覚網膜: 2次元

知覚: 3次元
様々な手がかりで奥行きを知覚しているということ
眼球運動性
調節
ピントを合わせる時の水晶体の厚みの変化
せいぜい1m程度まで

輻輳
対象を注視する時の両眼の内転・外転運動
近くだったら眼が寄る

輻輳調節矛盾
VRゴーグルだと調整は一定だが輻輳は変化する
本来比例関係があるはずなので矛盾していて、疲労や酔いなどに繋がる


両眼性
両眼視差
眼が2つあるから奥行きの違いで像にずれがあることから生じる知覚
強力

運動視差
視点位置が変化した時の知覚
両眼視差と同じ理由


単眼性
隠蔽
遠近法
テクスチャ勾配
速度勾配
キャストシャドー
陰影
物体の奥行き形状の知覚
UnityでいうReceiveShadow
光源位置が決まらない場合、理論的には凸か凹が曖昧になる
光源は上方にあると過程して曖昧性を解決している


キャストシャドー
物体と背景の相対的奥行き
影が遠いところに落ちているか、近くに落ちているか




 2.2.4 自己運動の知覚オプティカルフロー
網膜に投影された運動
対象の運動と自分自身の運動のどちらからも生じる
区別する必要がある


自己運動に起因すると解釈されるもの
視野の広い範囲を占める整合的運動
奥に提示された運動

対象の運動として知覚されるもの
小さい領域のばらばらな運動
手前にある運動

ベクション
視覚全体が動くと自分が動いているように知覚する現象
電車の例など


視覚誘導性身体動揺
オプティカルフローによる
姿勢制御に視覚情報が利用されているため
目を閉じて片足立ちが難しいなど

ベクションよりも早く生じる
いくつかの特性はベクションとことなる


 2.2.5 高次視覚知覚
初期・低次処理
自動的・ボトムアップ処理依存的

高次視覚
知識と注意を要する

顔倒立効果
歪んでいる顔でも顔の上下を逆さまにすると歪みに気が付きにくい
下の画像でいうと、左上の顔は歪んでいるが、ゆがんでいることに気が付きにくい




引用元: https://eye-media.jp/entertainment/サッチャー錯視の仕組み/

 2.3 聴覚
 2.3.1 聴覚系の構造

引用元: バーチャルリアリティ学
外耳
耳介
外耳道
媒質は主に空気

音源の空間的位置を特定するのに役立つ

中耳
鼓膜
外耳道の振動を耳小骨に伝える

耳小骨
振動を蝸牛に伝える

中耳は外耳と内耳のインピーダンスマッチングを行っている
抵抗の違いの差異をなくすこと？
外耳はインピーダンスの低い空気、内耳はインピーダンスの高い液体、中耳は両方というイメージ


内耳
蝸牛(かぎゅう)
基底膜が蝸牛管を上下に分けている
入り口から頂に向かって有毛細胞が生えていて、振動を神経信号に変換する
入り口側は高い周波数を、頂ほど低い周波数を担当している
人工内耳は20数個の電極列で音を聴神経に伝達する
有毛細胞は位相固定も行う
つまり周波数と位相で二重に符号化している

前庭
半規管


 2.3.2 聴覚の問題と音脈分凝(音源分離)聴覚では複数の音源が重畳された振動を知覚する

音源の推定は、推定する次元に対して利用可能な次元が少ないため、原理的には不可能
伝達路を伝わる物理的条件や、経験を通じた制約条件などから音源の推定を行っている。

(異なる音は同時刻になり始めない、周波数帯が完全に重なることはない、など)
音脈
時間条件、周波数条件、空間的条件などによって一つの音脈として知覚されること

音脈分凝(おんみゃくぶんぎょう)
音脈を知覚するパラダイム


 2.3.3 聴覚による高さ、大きさ、音色、時間の知覚このサイトおすすめです

http://www.kecl.ntt.co.jp/IllusionForum/index.html
音の高さの知覚
ハイト(height)
正弦波において周波数が大きいほど高く感じられること
蝸牛の場所の符号化による

クロマ(chroma)
2倍(オクターブ)の関係にある周波数同士が等価に感じされること
蝸牛の位相固定の符号化による

複合音
基本音と倍音(harmonics)から構成される
複数の帯域に周波数成分が存在するが基本音周波数に対する知覚を得られる
基本音が欠けていても近くできる(missing fundamental)

音の大きさの知覚


引用元: https://upload.wikimedia.org/wikipedia/commons/thumb/4/47/Lindos1.svg/800px-Lindos1.svg.png?1545239631667
正弦波において振幅が大きくなるほど音も大きく感じる
可聴域は20Hz-2kHz
4000Hzをピークに、高周波側低周波側で感度が下がる(上図)
感度差は最大で80dB

エンヴェロープ
振幅の時間的変動
急激に立ち上がって立ち下がる衝撃音は、定常的な音より大きく知覚される

音色
同じ大きさと高さを持った2音が異なって聞こえた場合、それは音色による違い、という定義
同じ音程を演奏した楽器は音色が違う、など
エンヴェロープに依る部分もある

聴覚の時間解像度
時間解像度は2-3ms
視覚は30hzなのに対して非常に高い

時間積分が出来るのは200ms程度
両耳間時間差は6μs(microsecond)(めちゃめちゃ短い)

 2.3.4 聴覚による空間知覚両耳間差
両耳間レベル差
音源と反対側の音が小さくなる

両耳間時間差
音源と反対側の音が遅れる
水平方向なら1°の精度で弁別可能
ただ現実はそんなに綺麗な状況だけじゃないので不十分



頭部伝達関数
HRTF(Head Related Transfer Function)
頭部や耳介音を遮ることによって変化するスペクトルパタンのこと
前方への定位は難しい
前後の間違いも起こりやすい
単なるステレオ録音をヘッドフォンで聴くと、音は頭蓋内に定位する


 2.4 体性感覚・内臓感覚
 2.4.1 体性感覚・内臓感覚の分類と神経機構特殊感覚
視覚
聴覚
味覚
嗅覚
前庭感覚


体性感覚
皮膚感覚
深部感覚(骨格筋、関節)


内臓感覚 (胃、腸、肝臓)
体性感覚・内臓感覚の受容器の4つの分類
機械受容器
皮膚の触や圧、筋肉の伸張や緊張

温度受容器
温冷などの感覚

化学受容器
pHなど化学的刺激

侵害受容器
強い機械的刺激、熱刺激、酸など体に障害を引き起こす刺激


 2.4.2 皮膚感覚無毛部
手指など、触覚に依る重要な役割

有毛部
大部分がこれ

皮膚は3層でなる
表皮
真皮
皮下組織
皮膚感覚受容器について
3種類
機械受容器
温度受容器
侵害受容器

構造から観た分類
カプセルなどの特殊構造
全て機械受容器

自由神経終末

触覚
全て特殊構造を持つ機械受容器
無毛部
マイスナー小体
パチニ小体
メルケル触盤
ルフィニ終末

有毛部
毛包受容器
パチニ小体
メルケル触盤
ルフィニ終末



引用元: バーチャルリアリティ学
受容できる刺激を、「早い変化」「遅い変化」「小さな領域」「大きな領域」という観点で分類できて、そのマトリクスに上記4つの受容器が対応するという話である。受容器によって得意な変化が違うんだね！
FAⅠ, FAⅡが即順応、SAⅠ, SAⅡが遅順応
FAⅠ, SAⅠが小受容野で鮮明な境界、FAⅡ, SAⅡが大受容野で不鮮明な境界
基本的能力の調べ方
触2点閾
手指や唇などで小さい(2-3mm)
上腕や背、腹、太ももなどで大きい(15-30mm)

振動検知閾
温度感覚
温覚
皮膚温よりやや高い
自由神経終末
無髄線維(C線維)
40-45°Cがよく神経発射する
45°C以上は熱痛覚

冷覚
皮膚温よりやや低い
自由神経終末
無髄線維(C線維)または細い有髄線維(Aδ繊維)
30°C付近でよく神経発射する
15°C以下は冷痛覚

無関帯
接触させつづけると感じなくなる温度
31-36°C
この範囲外は温覚・冷覚が持続する

痛覚
体性痛覚
表在性痛覚
自由神経終末
無髄線維(C線維)
遅い痛みを伝達

細い有髄線維(Aδ繊維)
早い痛みを伝達


深部痛覚

内蔵性痛覚
時間的観点に依る分類
急性の痛み
事故による怪我など
傷害を知らせ警告する機能

慢性の痛み
癌はど半年以上に渡り繰り返し起きる
障害の程度と痛みの強さの間に相関がないため、有用性のない痛みである


 2.4.3 深部感覚四肢相互の位置関係や動き、四肢に加わる力などの検出
筋肉、腱、関節に存在
固有受容器と呼ばれる
筋紡錘(きんほうすい)
筋肉の収縮や伸張を知る

ゴルジ腱器官
筋肉が収縮するときに反応する
筋紡錘との反応の違いによって深部情報を精密に伝える

関節受容器

深部感覚
位置覚
運動覚
力覚

深部痛覚
筋肉、骨、関節、結合組織などからの痛み
痛む場所が明確に分かりづらい
筋痛
乳酸にもよる



 2.4.4 内臓感覚内蔵受容器の基本的な役目は体内の恒常性維持
通常意識されない

飢え、乾き、尿意、便意などの臓器感覚は意識に上る
内蔵痛覚
局在性が不明瞭
強い情動性
反射的に吐き気などの自律神経反応を引き起こす


 2.5 前庭感覚
 2.5.1 前庭感覚の受容器と神経系三半規管(回転運動を受容、それぞれが直交している)
前半規管
後半規管
水平半規管

耳石器(じせきき)(直線運動、傾斜を受容)
卵形嚢(らんけいのう、水平方向)
球形嚢(きゅうけいのう、垂直運動)


 2.5.2 平衡機能の基本特性前庭動眼反射
視線を空間内で一定に保つ

前庭脊髄反射
外乱にたいする身体平衡の維持
視野の網膜像の動きを抑える
前庭顎反射
姿勢反射
耳石器による静的状態や穏やかな運動時の静的な反射

動的姿勢反射
半規管による回転運動時の反射



 2.5.3 身体運動と傾斜の知覚特性前後方向のx軸周りの回転をロール
閾値は0.4deg/s^2
静的な傾斜の知覚は1.5~2.2deg

左右方向のy軸周りの回転をピッチ
重力加速度で傾斜感覚が変化

上下方向のz軸周りの回転をヨー
重力方向の傾きが変化しないので半規管で知覚
閾値が低い(0.1~0.3deg/s^2)

エレベータ錯覚


引用元: https://twitter.com/kentarofukuchi/status/549972228591198209

 2.5.4 動揺病動揺病
乗り物酔い
シミュレータ酔い
実車経験が多い人ほど酔いやすい

宇宙酔い
陸酔い

感受性が高い人
男性
12-15歳まで
神経質な人や心配性な人

感覚矛盾説

 2.5.3 前庭感覚と視覚の相互作用中枢神経系の広い範囲で深く関連しあっている
眼球運動
協調して反射性の調節をしている
静止時あるいは遅い運動は視覚
速い運動は主に前庭系

動揺病
車酔いの場合
前方視界の有無が影響
本など車内の静止物を注視すると閉眼時よりよい安い


ベクション
視覚誘導自己運動感覚
視野の広範囲が動く視運動刺激を受けると逆方向に動いているように知覚する
視覚性動揺病の原因と言われてきたが、そうでない結果も報告されている


 2.6 味覚・嗅覚
 2.6.1 味覚の受容器と神経系基本五味
甘
酸
塩
苦
うま
味覚の神経伝達


引用元: バーチャルリアリティ学
味蕾
分子量が大きい味物質は七回膜貫通型受容体
甘味、旨味、苦味

分子量が小さい味成分はイオンチャンネルを介して直接味細胞を活性化
塩味、酸味

分布場所
茸状乳頭
有郭乳頭
葉状乳頭

神経伝達
鼓索神経
舌の前部

舌咽神経(ぜついん)
舌の奥部や喉

大錐体神経
上顎



辛味は痛覚
三叉神経
味覚神経でない


味の符号化には2つの説がある
まだ不明点が多い


 2.6.2 味覚の特性味の認識には高次処理大きく関わる
嗅覚と統合して認識しているため、鼻をつまむと味がわからなくなる

種を超えると味覚に相違が生じる場合もある
ギムネマ酸(甘さを感じられなくなる)
甘味
エネルギー源
一定以上摂ると甘味料の味が嫌いになる
生体防御の一貫


うま味
昆布: グルタミン酸
鰹節: イノシン酸
しいたけ
うま味として認識されているのは昆布だけ(他はうま味増強物質)

苦味
受容体は25種類
言語バリエーションが少ない
学習によって心地よくなる

酸味
pHで知覚
唾液の分泌を促す
口の中の味成分を洗い流すことが出来るため、脂の多い料理に加えられることが多い

酸の種類によって同じpHでも酸味が異なる
クエン酸だけ特別

塩味
発汗利尿により欲しくなる
食品を美味しくする
食材の水分を出して素材の味を濃縮
唾液分泌を促し味物質を口いっぱいに広げる



 2.6.3 嗅覚の受容器と神経系受容体は350種類
化学物質と一対一の対応はしていない(多対多)
匂い分子構造マップが形成されている

 2.6.4 嗅覚の特性オルソネーザル
鼻から

レトロネーダル
口腔から
咀嚼によって化学物質が放出されるため、匂いが変わる

種の間での嗅覚の違い
共通するものもある

分子構造だけで決まらない
フローラル、ミンティなどは異なる分子構造のものでも共通して認識される

嗅覚の発達
成人: 口臭や腐敗臭よりバラの香りを好む
2歳半の幼児: 好みの違いはない

匂い経験
ボトムアップ情報
統合的な高次のメカニズムが関与


 2.7 モダリティ間相互作用と認知特性
 2.7.1 視覚と聴覚の相互作用モダリティ
感覚様相
一つ一つの感覚のこと(五感など9

モダリティ間相互作用
複数のモダリティからの情報を相補的に知覚する
モダリティ毎の単純な加算でないため、相互作用の理解が必要

腹話術効果
聴覚の音源定位が視覚の位置に引っ張られる
10°まで現れる
時間的条件は200ms以内と比較的厳しい

ダブルフラッシュエフェクト
連続した視覚刺激が、ピッピッという音で瞬いて見える
聴覚の高い時間精度が視覚を補っているため起きる現象

マガーク効果
「ba」と発話する音声 + 「ga」と発話する映像 → 「da」と聞こえる
言語音声の知覚が資格情報に影響していることを示す(相補的ではない？）


 2.7.2 体性感覚とその他のモダリティの相互作用シュード・ハプティックス
視覚が体性感覚に影響
視覚によって生じる主観的な力覚
マウスを動かす時に動きが遅いと重く感じる

モードチェンジ
体の動きや情動によって低次知覚が影響を受ける
体を動かしていると時間順序判断のパフォーマンスが向上、など


 2.7.3 思考、記憶と学習思考は論理的でない
バイアス
演繹推論のバイアス
帰納的推論のバイアス
確率判断に見られるバイアス

記憶
二重貯蔵モデル
短期記憶
チャンク(単位)
7±2(マジックナンバー)まで覚えられる
情報の塊の意
漢字だと7つだが、熟語だと多くの漢字を覚えられるなど


情報処理の観点からとらえた短期記憶はワーキングメモリと捉えられる

長期記憶
永続的
意味記憶
典型効果
無時間的

エピソード記憶
特定の時間と場所に関係した記憶
思い出に相当

手続き型記憶

短期記憶から長期記憶への転送
情動の関与


潜在記憶

学習
脳という情報処理系の可塑性
知識やスキルの獲得
訓練に依る知覚精度向上
知覚学習




 2.7.4 アフォーダンスギブソンのアフォーダンス
環境が持つ意味や価値
川に渡された一本の丸太
人にとっては橋
ゾウはおそらく橋でない



ノーマンのアフォーダンス
行為を導くための形態や造形が持つメッセージ
デザイン理論として提唱

共通すること
生物が環境から受け取るのは物理的な属性でなく、意味であること


 3 バーチャルリアリティ・インターフェース
 3.1 バーチャルリアリティ・インターフェースの体系入出力インターフェース
相互作用する際に接する部分

入力インターフェース
認識エンジン

出力インターフェース
ディスプレイ




ハードウェア
ソフトウェア


入力インターフェース
センサ
認識エンジン

出力インターフェース
ディスプレイ
ディスプレイドライバ

物理的特性
身体形状や運動
表情や視線も含まれる

生理的特性
生体電気信号など

心理的特性
質問紙やプロトコル分析が該当するが、センサではない
バーチャルリアリティ・インターフェースにおいての観点では、脳活動など

社会的特性
本項では除外


 3.2 入力インターフェース
 3.2.1 物理的特性の計測
 (1) 位置姿勢と回転角度モーションキャプチャ
姿勢計測を行う装置
機械式モーションキャプチャ
角度を計測する
ゴリオメータ
外骨格のようなフレームを取り付ける
動きを制約する

人体モデル
関節構造とセンサ位置関係をモデル化したもの
ジャイロスコープ
積分誤差
ドリフト誤差

加速度センサ
MEMS技術
積分誤差

超音波式
磁気式
周囲の金属の影響は避けられない



光学式モーションキャプチャ
マーカ式
パッシブ型
再帰性反射素材

アクティブ型
赤外線LEDが内蔵


マーカレス方式




引用元: バーチャルリアリティ学

 (2) 顔の表情と視線表情
光学式測定
顔中にマーカを配置

特徴点マッチング

視線
インターフェースとしても利用できる
強膜反射法
角膜(黒目)と強膜(白目)の反射率の違いを利用

角膜反射法
角膜の曲率中心と眼球の回転中心が異なることを利用

サーチコイル法
コイルを埋め込んだコンタクトレンズを計測

EOG法
電位差を計測



 3.2.2 生理的特性の計測整理指標
心電図(ECG)
精神性発汗

筋電図(EMG)
運動の原因である筋肉の活動を計測
針電極を用いた方法
表面筋電図
皮膚上の電極を貼付する


脳活動
侵襲計測
脳に針電極を指す

非侵襲計測
脳表面に電極を置き直接ダメージを与えない

脳波(EEG)
脳磁図(MEG)
シールドされた部屋で計測する必要あり

機能的核磁気共鳴画像法(fMEI)
Bloodという血流量の増加に伴う脳の局所の酸素濃度変化を計測する
金属を近づけられない

NIRS
脳活動に伴う血流量の変化
VRの評価手法として注目されている

PET
体内にトレーサを投与して計測



 3.2.3 心理的特性の計測BMI
Brain-Machine Interface
考えただけで操作できる
P300


 3.3 出力インターフェース感覚モダリティ毎に分類できる
人間の感覚受容器に人工的な刺激として与える

 3.3.1 視覚ディスプレイ立体視
2眼式
左右の目の映像を別々に用意する
スクリーンの映像を液晶シャッターメガネで分離する方式
偏光メガネで分離する方式
パララックスバリア方式
スクリーンのスリットで分離する
メガネを掛ける必要がない

頭部搭載型ディスプレイ
Head Mounted Display: HMD

頭部搭載型プロジェクター

体積走査型
3次元空間の対応する点を発光させる方式
LEDアレイ走査型
回転スクリーン式
プラズマ発光させる方式


没入ディスプレイ
大型平面スクリーン
多面体スクリーン
曲面スクリーン


 3.3.2 聴覚ディスプレイ立体角分割法
ステレオの多チャンネル版

音像定位伝達関数合成法
バイノーラル再生
ヘッドフォン

トランスオーラル再生
室内の複数のスピーカー
クロストークをキャンセルする必要がある
室伝達関数
頭部伝達関数


音場直接合成法
スピーカーアレイ
すべての場所の3次元音空間を作る
キルヒホッフの積分公式
波紋合成法


 3.3.3 前庭感覚ディスプレイ加速度
過渡的成分
アクチュエータ

定常的成分
重力の分力成分


ウォッシュアウト
アクチュエータの動作限界を超えないようにする減速動作

ウォッシュバック
こっそり場所を戻すこと


 3.3.4 味覚ディスプレイ基本五味の組み合わせである程度表現できる
ストローなどで液体を舌に滴下する
衛生管理は必須

 3.3.5 嗅覚ディスプレイ基本の匂いは見つかっていない
拡散と排気が必要

 3.3.6 体性感覚ディスプレイハプティックインターフェース
皮膚感覚提示装置
振動子や空気圧、電気刺激
2点弁別閾が大きい場所

ピンアレイ方式、空気圧ノズルアレイ
2点弁別閾が小さい場所
圧迫と吸引は区別されない


力覚提示装置
深部感覚を刺激
装着型
多関節マニピュレータ

把持型
ペンやボールを握る

対象型



 3.3.7 他の感覚との複合複数の刺激を提示すると感覚が増す
空間的時間的な整合性が必要

 3.3.8 神経系への直接刺激物理刺激がなくても感覚を生起させることが原理的には可能
神経を直接刺激するもの
人工内耳

引くに電極を貼り付ける方式
歩行動作を作り出すなど


 3.4 入力と出力のループ入力を処理して出力するまでをリアルタイムに回す必要がある
更新周波数
センサが毎秒何回データ取得できるか
ディスプレイが毎秒何回表示を切り替えられるか
人間は10Hz以上で更新される画像を動画として認識する
深部感覚の力覚刺激は視覚より高速な1000Hz以上が望ましい

遅れ(ディレイ)
人間が刺激を受けてから行動に起こすまでの時間が0.2s


 4 バーチャル世界の構成手法
 4.1 総論
 4.1.1 バーチャルリアリティのためのモデリングモデル
物のある性質、側面、一つの見方を表現したもの
力学モデルの例
質量や跳ね返り係数は含まれる
色、匂いの情報は捨てられる


バーチャル世界
実世界と同等な体験を再現
知覚可能な情報のみをモデル化して提示すれば良い(可視光など)

目的・用途によってモデリングを絞ることも可能

 4.1.2 レンダリング、シミュレーションとモデルレンダリング
バーチャル情報をディスプレイで提示できる形に変換する処理

シミュレーション
物理法則や科学法則などを用いてモデルを変化させること


 4.1.3 処理量とデータ量とトレードオフレンダリングにおいて、事前計算しておくとデータ量は増すが処理量が減る
事前の作り込みが必要
リアルタイムに計算すると表現できることが減る

シミュレーションでも同じことが言える(物理演算など)


引用元: バーチャルリアリティ学

 4.2 レンダリング
 4.2.1 レンダリングのためのモデル体験者の位置や姿勢、バーチャル世界の変化に応じてレンダリングする必要がある。

 4.2.2 視覚レンダリングとモデル以下の3つの処理からなる

 (1) 投影処理

引用元: バーチャルリアリティ学
視点座標系に変換
投影処理によりスクリーン上の座標を求める
透視投影
z_sが0の時の(x_s, y_s)が当英語のスクリーン座標
z_sはZ値と呼ばれ、Zバッファ法などに使われる


<img width="374" alt="スクリーンショット 2018-12-22 5.59.12.png" src="https://qiita-image-store.s3.amazonaws.com/0/55365/bfb7161b-dcda-4cfc-4715-c63c356329ea.png">

 (2) 陰影消去

引用元: バーチャルリアリティ学
Zバッファ法
スクリーンと同じサイズ
大きな値で初期化
Zバッファが書き込まれている数値より小さかったら描画しZバッファを更新する


 (3) 輝度計算シェーディング (shading)
物体表面の材質や輝度

シャドウイング (shadowing)
他の物体に落とす影

シェーディングの代表的なモデル
Iは物体表面の輝度
右辺は環境光成分、拡散反射光成分、鏡面反射光成分

<img width="378" alt="スクリーンショット 2018-12-22 6.01.36.png" src="https://qiita-image-store.s3.amazonaws.com/0/55365/ac2bc16d-8084-8764-648c-3c1ec7fb1008.png">
シャドウイング計算
計算点から光源が可視かどうかで判定
一般に負荷が高い
点光源や平行光源のような単純なものはZバッファを用いて高速計算可能
光源位置に仮想と視点を配置しZバッファを生成しておく(シャドウマップ)
各点の描画時にシャドウマップを参照する




引用元: バーチャルリアリティ学

 4.2.3 聴覚レンダリングとモデル
 (1) 3次元音空間の聴覚レンダリングモデル両耳の2入力から3次元音空間を知覚
広帯域音を音空間全域に渡り高精度でレンダリングするのは現段階で不可能
聴覚ディスプレイで用いるモデル
音場再現モデル
音場全体を再現するモデル
立体分割法
音場直接合成法

両耳間伝達関数モデル
音源からそれぞれの耳まで音を計算
音像定位伝達関数合成法
両耳型聴覚ディスプレイ



 (2) 音響物理現象のレンダリングモデル音場直接合成法や音像定位伝達関数合成法では伝達関数を用いる
室伝達関数 (RTF)
頭部伝達関数(HRTF)

音響物理現象を伝達関数の形で表現する
伝達遅延
減衰
反射
回折



引用元: バーチャルリアリティ学
距離減衰と遅延
直接音に対し距離に応じた減衰と遅延を加える
高周波数では空気吸収が結構あるので考慮する

反射波
幾何音響理論
音線法
音源から放射された音線を追跡して時間範囲内の音線を計算
反射音の次数によらず計算量が一定
ある時刻、ある点の音を求めることができないため不向き

虚像法
反射面の無効に虚像を定義して、反射の次数を決めて計算
次数に対して指数関数的に計算量が増加する

音の波動性は考慮されていない
低周波数の精度が低い
小さな反射面では拡散を考慮する工夫なども



後部残響音
時間経過に伴い反射波の密度が上昇するため波面は方向性が弱まる
丁寧な取扱は大きな手間がかかり、効果も少ない

回折
人の気配などをレンダリングするために必要
解析解を使い物体の端線毎に信号処理を行う
低周波数で起こる低域通過型の現象

ドプラ効果
音源か聴取点が移動する場合に必要
通常の信号処理は線形時不変を仮定しているため工夫が必要
直接法
移動速度に応じて周波集を直接シフトさせる
汎用性に難あり

バーチャルな音伝搬路を設ける方法
遅延線の形で設け相対速度に応じて読み込みポインタを移動させる、など



 (3) 聴覚ディスプレイの将来像DSPチップなどハードウェア的に行うことも可能
PCミドルウェアとしてパッケージ化すると低コストで利用可能に
境界要素法(BEM)は数値解析法に酔って波動性も考慮した総合的な形
音場全体の空気粒子のふるまいとして高速計算する検討も進んでいる

 4.2.4 力触覚レンダリングとモデル物体の形状、硬さ、粗さ、重さなどの属性を表現する
感覚と運動が双方向に影響を及ぼす
インタラクションにおける流れ
力覚ポインタ(指先などの接触点)の位置と方向の検出
力覚ポインタと物体の接触検出
反力計算、物体変形
力およびトルクの提示

1kHz以上が必要
視覚よりも時間分解能が高いため
視覚と別スレッドで動作させる必要あり


 (1) 干渉計算とモデル-　インピーダンス提示型

-　侵入距離に応じて押し戻す力を操作者に返す

-　力覚ポインタと物体業免状のポインタを提示して侵入距離を算出する)

-　道具を介するとトルク計算が必要になる場合も

-　プリミティブな形状は計算しやすいが汎用的でない

-　多面体は境界が不連続なので補間などが必要

-　視覚レンダリングの輝度計算などでも用いられる


引用元: バーチャルリアリティ学

 (2) 表面情報のレンダリング摩擦力
なぞり方向と反対方向
クーロン摩擦でシミュレート可能

テクスチャ勾配のシミュレート
スティックスリップ現象
固着と滑りが繰り返し発声する振動現象
黒板にチョークを使う時など


 (3) 現実感を高めるレンダリング人間の感覚特性やハードウェア、計算コストを考慮した上で利用する必要がある
接触の際の振動で材質感を知覚している
振動の記録でより高い材質感の提示も可能


 4.3 シミュレーション
 4.3.1 シミュレーションのためのモデルモデルが巨大化すると計算負荷も増大する
剛体
位置・向き
速度、角速度
形状

柔軟物
剛体に加え、変形情報が必要
計算負荷が大きい
水や空気はもっと大きい


 4.3.2 空間のシミュレーション
 (1)  座標・移動モデルユークリッド座標と姿勢(ロール、ピッチ、ヨー)で表現される
フライトスルー
鳥瞰的視点が重要な場合

ウォークスルー
都市景観シミュレーション
障害物との衝突などはユースケースに依る
衝突判定にはbounding volumeなどが用いられる(4.3.3参照)


 (2) 広い範囲の移動、時間遅れ、ハンドリング広大な空間を描画するのは無理なので空間を区切る
グリッドベースが簡単

Level Of Detail (LOD)
遠くからでも見える場合に有用
遠くのものは精密さを落とす



引用元: バーチャルリアリティ学
scene graph
オブジェクトをツリー構造で表現
効率的な管理やレンダリングの取捨選択に用いられる
LODも1つのnode



引用元: バーチャルリアリティ学
バーチャル世界の構築
CADや3DCGソフトが用いられる
カメラやセンサーから再現する手法も


 4.3.3 物体のシミュレーション
 (1) 剛体のシミュレーション剛体で事は足りることが多い
物体の位置や速度で決まる力は簡単
重力
バネ
動摩擦力

拘束力はめんどくさい


引用元: バーチャルリアリティ学
ペナルティ法
計算せずに違反の量を単純に加える
計算量がO(n)
収束する保証がない

解析法
運動方程式を連立させて解く
O(N^3)
O(n)で打ち切ることもできる
更新周期△tを大きくとって負荷軽減

ゲームの物理エンジンなどによく使われる

接触検出
大まかに判定して枝切りしていく
分割された空間毎
bounding volume



 (2) 変形のシミュレーション変異が微小だと弾性変形をする
弾性変形や塑性変形(そせい)を経て破壊に至る

変形モデル
バネ質点モデル
弾性力で物体変形を表現

有限要素モデル
3角形要素の集合を連立方程式を解いて表現
高精度だが計算量が多い




引用元: バーチャルリアリティ学
忠実性と実時間性はトレードオフ

 (3) 流体のシミュレーションナビエ・ストークス方程式
差分法
速度及び圧力の分布が求められる

実際は形状や時間変化も考慮する必要がある

 4.3.4 人物のシミュレーション
 (1) 人体物理モデル剛体リンク系
現実的な計算時間でシミュレートするために使う
球面関節
3自由度回転

回転関節
1自由度

実際は回転中心が移動したりする



引用元: バーチャルリアリティ学

 (2) 計算アルゴリズム力学シミュレーション(4.3.3参照)
逆運動学
リンクの位置と姿勢に対応する関節角を計算する
解析的手法
逆関数を求める

数値的手法
ヤコビ行列と位置誤差の2上を評価関数とした最適化問題を解く方法
ニュートン法を用いて方程式の解を求める方法
汎用性が高く応用も聴く

解が無限に存在する
手の位置・姿勢を変えずに肘の位置を変えられるなど




引用元: バーチャルリアリティ学

 (3) 運動生成映画などではアニメーターがキーフレームを補間して制作する方法が主流
リアルタイム生成する必要がある
力学シミュレーション
人間らしい運動をするための関節トルクを計算する制御系が必要
転倒しないための制御

関節制御
各関節は与えられた目標値に追従する
全体のバランスは考慮されていない

バランス制御
重心位置を目標位置に戻すための仮想的な力を計算し、各関節のトルクに変換する
外力に対する反応の運動を生成できる
バランス制御は保証されていない

有限状態機械
各状態の制御系は事前に用意しておく



引用元: バーチャルリアリティ学
モーションキャプチャを利用する方法
計測したデータを加工するので基本的に転倒などがない
モーショングラフ
クリップを複数用意して状況に応じた順序で再生する方法
似た姿勢で遷移すれば滑らかになる




引用元: バーチャルリアリティ学

 最後に一人VR技術者認定試験 Advent Calendar 2018の25日目はまた内容を考えます。