【Azure】Azure AI Content Understandingのコンテンツ抽出で遊んでみる

執筆日

2024/11/30

Azure AI Content Understanding

Microsoft Ignite 2024で発表されたサービスです。
ドキュメント、画像、動画、音声などのコンテンツをユーザー定義の出力形式に変換します。
→マルチモーダルのStructured outputs

https://learn.microsoft.com/en-us/azure/ai-services/content-understanding/overview

リソースについて

2024/11/30時点では、WestUS、Sweden Central、Australia East の3リージョンのみ対応しています。
このリージョンで、Azure AI Servicesの構築をお願いします。

https://learn.microsoft.com/en-us/azure/ai-services/content-understanding/how-to/create-multi-service-resource

環境構築

1. Azure AI Serviceを構築し、プロジェクトを作成する
   ※WestUS、Sweden Central、Australia East でリージョンで構築する

https://zenn.dev/headwaters/articles/e53e750e0e2f86

2. 「管理センター」をクリックする
   
3. Connected resourceをクリックする
   
4. 「＋新しい接続」をクリックする
   
5. Azure AI サービスをクリックする
   
6. 先ほど構築したAzure AI サービスをクリックし、接続をする
7. 以下のURLをクリックする
   https://ai.azure.com/explore/aiservices/vision/contentunderstanding
8. 「Create new Content Understanding project」をクリックする
   ※「Role Based Access Control Administrator」の権限が必要
   

コンテンツ抽出をする

1. 「Define schema」をクリックする
   
2. 「＋Add new filed」をクリックする
   
3. 抽出したい項目を定義し、「Save」をクリックする
   
4. 「Test analyzer」をクリックする
   
5. 以下の２つでテストする
   ↓１つ目
   
   ↓２つ目
   
6. ファイルを上げて「Run analysis」をクリックする
7. 結果、ちゃんと取れてる。
   
   

フォーマットが違うのにすげー。。
Azure Document intteligenceのカスタムモデルだと、項目の位置がずれると検出されないことが多いが、これは画期的だ！
https://zenn.dev/headwaters/articles/cd0174bbe85b53

APIとして使えるようにする

1. 「Build analyzer」をクリックする
   
2. 「+Build analyzer」をクリックする
   
3. Nameを入力し、「Build」をクリックする
   
4. 作成されたことを確認
   
5. 以下のDocsのように、RestAPIを実行する

https://learn.microsoft.com/en-us/azure/ai-services/content-understanding/quickstart/use-rest-api?tabs=document

まとめ

フォーマットに依存せずに、項目の抽出ができるのは本当にすごい。
→マルチモーダルのStructured outputsのイメージ。
Indexを作成する際のパイプラインとしても使えそう。
早くGAされないかなー。あと料金がどれぐらいなのかなー。