📑

【iOS】Live Text APIで画像内のテキストを抽出するための最小実装

2023/05/20に公開

iOS

WWDC22で発表されたLive Text APIを使用すると、簡単に画像内のテキストを抽出することができるようになりました。さらに、抽出したテキストに対して、コピー、翻訳、Web検索といった様々なアクションを行うことができます。

本記事では、Live Text APIを使用して、テキストを抽出するための最小実装方法について書きます。

Live Textのサポート環境を確認

Live Text APIで画像内のテキストを抽出する前に、デバイスがLive Textをサポートしているかを、ImageAnalyzer クラスのisSupported プロパティで確認します。iOS Appの場合、iOS 16以上でかつ、A12 Bionic以降のチップを搭載したデバイスがLive Textをサポートしています。

`ImageAnalysisInteraction` オブジェクトをViewに追加

テキストを抽出したい画像を含むViewに対して、addInteraction メソッドでImageAnalysisInteraction オブジェクトを追加します。

ViewにImageAnalysisInteraction オブジェクトを追加することで、Viewをダブルタップ、ロングプレスした時に、Live Textインターフェイスを表示することができるようになります。

`ImageAnalysisInteraction` オブジェクトの初期化処理

画像内のテキストを抽出する処理を行う前に、ImageAnalysisInteraction オブジェクトのanalysis プロパティにnil を代入して前回の画像解析結果を無効にし、preferredInteractionTypes プロパティに空配列を代入してインタラクションタイプを無効にします。インタラクションタイプについては後ほど説明します。

`ImageAnalyzer` オブジェクトの設定

画像内のテキストを抽出する処理を行うには、ImageAnalyzer オブジェクトを使用します。最初に、ImageAnalyzer オブジェクトの設定を定義した、ImageAnalyzer.Configuration オブジェクトを作成します。

ImageAnalyzer.Configuration のイニシャライザにはImageAnalyzer.AnalysisTypes オブジェクトを指定します。.text はテキストの読み込みを可能に、 .machineReadableCodeはQRコードの読み込みを可能にします。

テキスト抽出処理の実行

ImageAnalyzer オブジェクトのanalyze メソッドでテキスト抽出処理を行います。analyze メソッドの引数には、テキスト抽出対象のUIImage オブジェクトと、前項で作成したImageAnalyzer.Configuration オブジェクトを指定します。テキスト抽出結果はImageAnalysis オブジェクトに格納されるので、結果をImageAnalysisInteraction オブジェクトのanalysis プロパティに格納します。

最後に、preferredInteractionTypes プロパティにインタラクションタイプを指定します。インタラクションタイプとは、画像内に含まれるテキストデータをどの様に扱うかを定義したものです。
インタラクションタイプはいくつかの種類が用意されています。

インタラクションタイプ	効果
automatic	アナライザが抽出した画像内に含まれる、全ての抽出データに対して、アクションを行うことに適したインタラクションタイプ
textSelection	アナライザが抽出したテキストに対して、アクションを行うことに適したインタラクションタイプ
dataDetectors	アナライザが抽出したURL、電子メールアドレス、物理アドレスといったアドレスに対して、アクションを行うことに適したインタラクションタイプ