🙆

VisonProの新しい入力方法を試す。

2023/08/15に公開

iOS

はじめに

VisionProが公開されたとき、なにやら指先を動かすだけで、アプリやウィンドウを操作できるような挙動の動画が公開されました。果たしてあの入力では何をしているのか、実機がなくても検証する方法を見つけたので、その方法について解説します。

エミュレーターのダウンロードの方法についてはこちらの記事（VisionProのエミュレーターのインストール方法）にて紹介しているので、よければ参考にしてください。

新しい入力方法の概要

空白部分はこれから検証して追記いたします。

Gestures	action（アプリ毎に任意で設定できそうだけど、純正アプリをみた感じ）
Touch	白いたまのある場所のボタンをタップ
Swipe up	下にスクロール
Swipe down	上にスクロール
Swipe left	左にスクロール
Swipe right	右にスクロール
Zoom out	ズームアウト
Zoom in	ズームイン
Rotate left	操作を戻す（または左に任意の角度回転）
Rotate right	操作を進める（または右に任意の角度回転）
Two finger touch
Two finger swipe down
Two finger swipe left
Two finger swipe right
Two finger swipe up

何らかの方法でタブを切り替えることができるが再現性がない。仕様なのかバグなのかも分からない。

シュートカットキーを変更する

キーボードでの入力を有効化する

Simulatorのメニューバーから
I/O > Input > Send Keyboard Input to Device　または　⌥⌘K

設定されると、Simulatorの上の四角で囲まれた「⌘」が青くなる

白いたまの入力

この新しい操作にはこの記事（Apple Vision Pro の基本操作と基本設定まとめ）で解説しているような、カーソルでの操作ではなく、白いたまのようなカーソルが用いられるようです。
追記
白いたまの正体は、トラックパッドでの入力を意味しているようです。

Simulatorのメニューバーから
I/O > Input > Send Pointer to Device　または　^⌘K
を選択した状態でエミュレーター内の任意のアプリケーションに触れることでカーソルが白いたまになる。

白いたまの状態でもクリックできる。スクロールは通常のトラックパッドでの操作と同じように、二本指をスライドさせる。また白いたまの状態でウィンドウの外というか、そのウィンドウの持つ領域から出ることはできない。脱出にはEscキーが有効。
カーソルの状態では右クリックができないが、白いたまの状態では、右クリックが可能になる。
サンプル動画

ウィンドウの持つ領域

領域は以下の画像のように設定されている。平面のアプリでも実際には奥行きが指定されている（12cm）。
デフォルトで入っているウィンドウの場合（単位：cm）
正面　96　✖️　54
上面　96　✖️　12

ショートカットキー変更の方法

前に述べた方法でキーボード入力を有効にしてください。でないと変更できません。
以降の画像では、右上は青色ではありませんが、この設定を有効にした場合、Mac側でのショートカットキーの入力がなくなるため、スクショのために一時的にオフにしているだけです。
シュミレーターウィンドウの中央の上方にある灰色のポッチをクリック
灰色のポッチは見えづらいです。

カーソルをホバーすると形が変わります。

これをクリックするとメニューが表示されます。

この一番左のハニカムみたいなマークを押すと、アプリ一覧が表示されます。（⌘+hでも同様の画面が開きます）

アプリ一覧からSettingsを選択。

⌘ + Space で検索窓を出してSettingsと検索しても出てます。

Accessibilityを開く

（中央上方にある白いやつは、さっきのポッチです。ウィンドウがあると見やすい。）

スクロールして、Physical and Motorの一番下にあるKeyboardsを選択

一番上にあるHardware KeyboardsのFull Keyboard Accessを選択

Commandsを選択

一番下、Gestures（ジェスチャー）までスクロールすると新しい操作方法がある。

いずれかをクリックするとこの画面になる

適当なキーを入力（今回は⌘+1）
Doneを選択

それ以外も同じようにキーを割り振り可能（今回は連番を割り振ってみた）

終わりに

今回はVisionProの新しい操作方法を実機なしで試す方法を紹介しました。設定を変えて軽く触ってみて、レスポンスが早くて、認識の精度が良かったら、一つのアプリ内だけだったらもう、マウスもキーボードもいらないんじゃないかと思うくらいの操作性を持たせられそうだと感じました。
ただ連続で入力すると処理が急激に遅くなったり、結構な頻度で不自然な挙動をとったり、これからの発展を期待したい感じです。
実機が発売されたらすぐにでも試してみたいですね。