はじめに
この記事は Panda株式会社 Advent Calendar 2023 13日目の記事です。
Panda株式会社は東京大学松尾研究室・香川高専発のスタートアップで、AR技術とAI技術を駆使したシステム開発と研究に取り組んでいます。
このアドベントカレンダーでは、スタートアップとしての知見、AI・AR技術、バックエンドなど、さまざまな領域の記事を公開していきます。
自己紹介
Panda株式会社代表取締役の田貝奈央です。X(旧Twitter)でARに関する最新投稿を漁るのが趣味です。見つけたコンテンツを社内Slackに共有しまくっています。かなりその活動で興味持てたARコンテンツが増えてきたので、この場を借りてまとめたいと考えています。よろしくお願いします。
スマートフォン向けAR事例
調査対象はX(旧：Twitter)で「#AR」や「#WebAR」「#augmentedreality」というハッシュタグをつけている投稿です。
VPS技術を活用
VPS(Visual Positioning System)技術は、視覚的なデータを利用してデバイスの正確な位置を特定する技術です。よく比較される技術がGPS(Global Positioning System)で、GPSは衛星を用いて自分が地球上のどの位置にいるかを認識する技術です。
VPS技術を用いると、スマートフォンがどの向きを向いているのかなどのより詳細な位置情報を扱うことが可能になります。これにより、GPSでは実現できない周囲の環境や建物に関するマッピングや、建物内での位置情報の認識が可能になります。
このVPS技術はGPSと組み合わせることで、特定の位置のみで再生できるコンテンツなどを再生することができます。
VPS技術を実装するには、WebARプラットフォームである8th WallのLightship VPSを活用したり、ソニー株式会社のVPS技術を活用したりします。
Lightship VPSは同じ場所の同じオブジェクトでも、時間帯を変化させ複数条件下でそのオブジェクトを登録することで、どのような状況でもVPS技術を利用できるようにしています。
例えば、I▲N CURTISさんのこの投稿では、場所と看板を紐付けて看板を突き破ってるかのように手が飛び出すAR広告にVPS技術が活用されています。これは、8th Wallを使って実装されており、現地でこの靴の広告をスマートフォンのカメラで撮影すると、WebAR上で、飛び出す広告を見ることができます。
また、TOKYO NODE LABさんが公開したARアプリケーション「TOKYO NODE Xplorer」では、昼夜を問わず虎ノ門エリアのビルに対してビタビタ（桟よしおさんの言い方を引用しました）なARコンテンツを表示できます。このVPS技術の実現にはソニー株式会社の技術が用いられています。ARコンテンツはボリュメトリックにより構築された3Dモデルを動かし、表示しています。ボリュメトリックは、複数台のカメラで撮影した画像をもとに、3D空間データ（点群）を再構築する技術です。これにより、VPSで捉えたスマートフォンの向き・方角に合わせて、実際の人間の動きをAR上で表示することができます。
ChatGPTや生成AIを活用
ChatGPTや生成AIが技術業界に与えた影響は多いと思います。スマホAR業界も大きく影響を受けています。
例えば、ARアプリケーションを作成する上でARを実現するための機能も大事ですが、企画やイラスト・デザインデータなどが必要不可欠です。そんな中、3Dモデルのデザインを作るためにChatGPTに搭載されたDELL·E3を用いて、3Dモデルのキャラクターデザインを生成することです。これにより、デザインプロセスが簡素化され、新しいAR体験の想像が容易になりました。
こちらの投稿ではDELL·E3を活用したAR開発フローについて説明をしています。大きく分けると以下のステップで開発することができます。
- ChatGPTに搭載されたDELL·E3を用いて、キャラクターの見た目を生成。
- iPadで3Dモデルを彫刻・ペイントすることで作成できるツール「NomadSculpt」を使って、キャラクターを3D化。
- Cinema 4Dを使って3Dモデルにボーンを設定、アニメーションを追加。
- snapchatのlens studioを使って、顔に3Dモデルのアニメーションが表示されるフィルターを作成。
これにより、デザインを考える手間が減り、新しいAR体験を作り出すことができるようになります。
また、この投稿では、palanARの空の認識ARと8th wallを組み合わせて、空をゴッホ風に描く360度画像を3Dオブジェクトとして作成することで、新たなAR体験を実現しています。 そして、この投稿では、LumaAIを用いて作成した3Dモデルを活用したARコンテンツを公開しています。LumaAIはスマホ一つで高精度な3Dモデルの作成と出力ができる3Dキャプチャツールです。このLumaAIが2023年に公開したGENIEというテキストプロンプトから3Dモデルを生成することができるAIを用いて、10秒ほどで3Dモデルを生成できるようになりました。AIを活用して作成した3Dモデルを用いてARアプリケーションを開発する人も登場しました。 こちらの投稿では、8th WallとA-Frameを用いて画像を認識するとその奥から3Dモデルの骸骨が幕を破いて飛び出してくるWebARを実現しています。出てくる骸骨はLumaAIのGENIEを使ってモデリングされています。
IP(Intellectual Property)とのコラボも活発に
ハローキティちゃんの50周年を祝うイベントとして、渋谷のスクランブル交差点で専用アプリをダウンロードして起動すると大きなキティのアニメーションが表示されるイベントが開催されました。アニメーションの表示にはVPS技術が活用されています。キティちゃんのダンスは専用ARアプリケーションだけでなく、TikTokのフィルターとしても公開されており、様々なプラットフォームを活用してARを実現しています。
今年9月には、ナイアンテックとカプコンのコラボによる、位置情報ゲーム「モンスターハンターNow」がリリースされました。位置情報ゲームの一部機能でボスのモンスターをARで召喚することができ、AR上で狩りを楽しむことができます。また、現実の奥行きを元に、現実の物体に隠れている仮想的な映像を隠すことができるオクルージョンという機能に対応しているため、建物の裏に隠れるモンスターといった没入感の高いAR体験を実現することができます。
まとめ
2023年のスマートフォン向けAR技術の事例として、VPS技術と生成AIの活用したARコンテンツが登場するようになってきました。
VPS技術は、従来のGPSに比べてより詳細なスマートフォンの向きなどの位置情報の提供ができるため、屋内でのARやビルの壁を活用したAR体験を作成できるようになりました。
ChatGPTに搭載されたDELL·E3を活用したデザイン作成や生成AIを使用した3Dモデル生成は、ARアプリケーション開発の手間を軽減することができました。これにより、新しいAR体験を作り出す際にゼロから3Dモデルを作成する必要がなくなり、容易にリッチなARコンテンツを作成できるようになりました。
また、IP(Intellectual Property)とのコラボレーションを通じたARコンテンツの増加も目立ち、AR技術の大衆への普及も進んでいます。
ここまで筆者の主観で2023年のスマートフォン向けAR技術について紹介しました。大きくまとめると、VPSと生成AIの技術的な進歩により新しいAR体験が実現されるようになりました。AR作成プロセスの簡易化により、これからもたくさんのARコンテンツが世の中に出ていくと考えられます。また、IPとのコラボレーションにより、大衆がARに触れることも増えていきます。これにより、2024年は多様なARコンテンツが生まれると考えられます。これからのAR技術の発展が楽しみです。
おわりに
今回は「最新のスマートフォン向けAR事例 2023年版」というテーマでPanda株式会社 Advent Calendar 2023 13日目を執筆させていただきました。
本記事では、X(旧：Twitter)で投稿されていたスマートフォン向けARコンテンツを元に現在のスマートフォン向けAR業界の動向を紹介しました。
現場のARコンテンツの流行を認識し、新しい形のAR体験を生み出す一助になれたら嬉しいです。
明日の記事も私、Panda株式会社代表取締役の田貝奈央による「【SEMICON登壇！】現場の技術承継を変える！：AIとXRを活用した製造業DX」です。AIとXRを活用した現場の技術承継について共有いたします。お楽しみに！
Discussion