AIで生成したVR180画像の限界(自分が出来る範囲)を知る

流れとしては、画像を生成する

使用モデル：Suzumehachi

ポジティブプロンプト：modern living room, contemporary interior design, minimalist furniture, clean lines, neutral color palette, large windows, natural light, open space, stylish decor, high-quality materials
ネガティブプロンプト：people, text, watermark, signature, low quality, blurry, out of focus, bad anatomy, deformed, extra limbs, cropped, duplicate, error, jpeg artifacts, worst quality
深度画像を作成する

その深度を基に両眼でフィットするような画像を作成する

ただこれだけだと、二枚画像が横に並んだだけなので空間にいるように見えない

itojun

VR180画像を作ろう
VR180画像とは
Googleが策定したVRコンテンツの新しい規格で、立体視180度VR動画のための標準的なフォーマット
従来の360度VR動画と比較して、撮影や編集が簡易であり、データ容量も抑えられる
前方180度のみをカバーし、後方は表示されない
左右の目に異なる映像を提供することで、深度感のある3D体験できる

作成したいもの

itojun

LORAを使おう
Low-Rank Adaptation
既存のモデルに特定のスタイルや特徴を追加するための技術
使用LORA：Fisheye

itojun

LORAを使用して画像生成
(＜lora:fisheye2:1＞をポジティブプロンプトに追加)

LORAを入れても全然魚眼画像になってくれない

itojun

めっちゃ魚眼レンズだよってプロンプトを追加する
Vignetting, Fisheye ,Fisheye Lens, Fisheye Black circular edge, Distortion, Circular, Panorama, Curvature, Immersive, Wide-angle, Surreal, Spherical, Lens-flare
いい感じなった

itojun

最初と同じように、深度画像・VR180画像を作成

itojun

体験してみる

itojun

現実空間のVR180画像と比べてみよう

vrレンズといったらこれ！
Canonから発売されている魚眼レンズ（291,500円）
撮影した画像（大学構内）

itojun

以外と変わらない！？

itojun

何かもやもやする

視点が低い
水平・垂直が撮影した画像の方がきれいに見える

itojun

25枚（両眼）の大学構内画像を撮影していたので、分割し50枚を使ってLORAを作成
作成は以下を参照

itojun

作成したものは以下のような感じ

ポジティブプロンプト： ＜lora:vr180_lora:1＞vr180

ネガティブプロンプト：

いいとこ
vr180と設定するだけでいい感じに魚眼にしてくれる
課題
画像にカメラレンズが映り込んでいたため、完全な円ではなく、カメラのレンズが映り込むような構図になってしまった

itojun

最初の設定で再度生成
ポジティブプロンプト：＜lora:vr180_lora:1＞vr180, modern living room, contemporary interior design, minimalist furniture, clean lines, neutral color palette, large windows, natural light, open space, stylish decor, high-quality materials
ネガティブプロンプト：people, text, watermark, signature, low quality, blurry, out of focus, bad anatomy, deformed, extra limbs, cropped, duplicate, error, jpeg artifacts, worst quality

あんまりよくない
vr180を強調する→(((vr180)))とすることで重みが1.331倍になる