💡

1キーでiPhoneの画面を翻訳する

に公開

TL;DR

  • ローカルで処理されるため、無料、安全、高速な翻訳が実現可能
  • iPhone 15 Pro以前のモデルはおそらくこの方法を利用できない

原理

iPhone 15 Pro以降から登場した「アクションボタン」のカスタマイズ機能を利用して、自作のショートカットのスクリプトでスクショを撮り、iPhoneのローカルAI機能で、テキストを抽出し、次に、ローカルAI翻訳機能を利用して画面中の文字の翻訳を実現する

利用可能モデル

現時点で「アクションボタン」が付いているモデルは以下の通り

• iPhone 15 Pro
• iPhone 15 Pro Max
• iPhone 16
• iPhone 16 Plus
• iPhone 16 Pro
• iPhone 16 Pro Max
• iPhone 16e

まだまだ少ないね

2つのステップだけで実装

ショートカットのスクリプトをDL

https://www.icloud.com/shortcuts/23f1e6830a6e41ed88607896613f144a

アクションボタンをカスタマイズ

設定 → アクションボタン → ショートカット → 選択メニューでDLしたスクリプトを選ぶ

完成!

使ってみよう

翻訳したい画面に止まり、「アクションボタン」を押すだけで翻訳

翻訳パターン

以下のパターンで画面中の言語1を自動に認識し、言語2に翻訳する

  • 日本語でない言語 → 日本語
  • 日本語 → 英語

日本語でない言語 → 日本語

日本語 → 英語

全画面でも素早く翻訳ができるのが嬉しいね

さらにカスタマイズ

日本語・英語間の翻訳のほか、他の言語間の翻訳もカスタマイズ可能

シナリオ

母国語を言語1、勉強したい言語を言語2とする。すると、
①と②に言語1を設定し、③に言語2を設定する。

  • ①と②は同じ言語に設定する必要がある
  • ①では設定したい言語を現在設定されたシステム言語で入力(母国語が日本語の場合、ここでは日本語環境なので、「日本語」、英語環境の場合「Japanese」と入力する必要がある。)
  • ②と③はクリックしてメニューから選べば良い

Discussion