<h1 id="ai-content-understanding%E3%81%A8%E3%81%AF" data-line="0" class="code-line">
<a class="header-anchor-link" href="#ai-content-understanding%E3%81%A8%E3%81%AF" aria-hidden="true"></a> AI Content Understandingとは</h1>
<p data-line="1" class="code-line">11月のMicrosoft Igniteで新しく発表されました！<br>
サービスのコンセプトとしては「<strong>非構造化データを構造化データに</strong>」だそうです。<br>
画像・音声ファイル・動画・テキストファイルを解析してユーザーが指定したスキーマに振り分けてくれます。<br>
現在はプレビュー版ですので、まだ正式にリリースはされていません。</p>
<p data-line="6" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__8a2ef30c887ec" src="https://embed.zenn.studio/card#zenn-embedded__8a2ef30c887ec" data-content="https%3A%2F%2Flearn.microsoft.com%2Fen-us%2Fazure%2Fai-services%2Fcontent-understanding%2Foverview" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://learn.microsoft.com/en-us/azure/ai-services/content-understanding/overview" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://learn.microsoft.com/en-us/azure/ai-services/content-understanding/overview</a></p>
<h1 id="%E4%BB%8A%E5%9B%9E%E6%A4%9C%E8%A8%BC%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B%E3%81%93%E3%81%A8" data-line="8" class="code-line">
<a class="header-anchor-link" href="#%E4%BB%8A%E5%9B%9E%E6%A4%9C%E8%A8%BC%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B%E3%81%93%E3%81%A8" aria-hidden="true"></a> 今回検証してみること</h1>
<p data-line="9" class="code-line">弊社Data&amp;AIのメンバーがすでにドキュメントデータの検証をしてくれましたので、僕の方では音声と動画ファイルを使った検証をしてみます。<br>
こちらの記事も併せてみたらこのサービスのイメージがつきやすいかと思います。</p>
<p data-line="12" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__de430f38503d" src="https://embed.zenn.studio/card#zenn-embedded__de430f38503d" data-content="https%3A%2F%2Fzenn.dev%2Fheadwaters%2Farticles%2F2d187d73cdcf28" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://zenn.dev/headwaters/articles/2d187d73cdcf28" style="display:none" target="_blank">https://zenn.dev/headwaters/articles/2d187d73cdcf28</a></p>
<h1 id="%E7%92%B0%E5%A2%83%E6%A7%8B%E7%AF%89" data-line="14" class="code-line">
<a class="header-anchor-link" href="#%E7%92%B0%E5%A2%83%E6%A7%8B%E7%AF%89" aria-hidden="true"></a> 環境構築</h1>
<p data-line="15" class="code-line">Azure AI Studioにアクセス。</p>
<p data-line="17" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__f9189b5aea9ad" src="https://embed.zenn.studio/card#zenn-embedded__f9189b5aea9ad" data-content="https%3A%2F%2Fai.azure.com" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://ai.azure.com" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://ai.azure.com</a></p>
<p data-line="19" class="code-line"><br></p>
<p data-line="21" class="code-line">右下に「<strong>Content Understanding</strong>」があるので選択。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/79b701526533-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="24" class="code-line"><br></p>
<p data-line="26" class="code-line">左上の「<strong>Create new Content Understanding project</strong>」を選択。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/9ad9ad586cac-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="29" class="code-line"><br></p>
<p data-line="31" class="code-line">「<strong>新しいハブの作成</strong>」を選択<br>
<img src="https://storage.googleapis.com/zenn-user-upload/91e8bd38cf94-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="34" class="code-line"><br></p>
<p data-line="36" class="code-line">それぞれ入力...<br>
<img src="https://storage.googleapis.com/zenn-user-upload/026e0b09784b-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="39" class="code-line"><br></p>
<p data-line="41" class="code-line">Storageを作成 or 既存のものを選択します。<br>
ここに分析結果とかアップロードしたファイルが格納されるようです。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/effd0af987f7-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="45" class="code-line">これで作成完了</p>
<h1 id="%E9%9F%B3%E5%A3%B0%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB(.wav)%E3%81%A7%E6%A4%9C%E8%A8%BC" data-line="47" class="code-line">
<a class="header-anchor-link" href="#%E9%9F%B3%E5%A3%B0%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB(.wav)%E3%81%A7%E6%A4%9C%E8%A8%BC" aria-hidden="true"></a> 音声ファイル(.wav)で検証</h1>
<h3 id="1.-%E9%9F%B3%E5%A3%B0%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E7%94%A8%E6%84%8F%26%E3%82%A2%E3%83%83%E3%83%97%E3%83%AD%E3%83%BC%E3%83%89" data-line="48" class="code-line">
<a class="header-anchor-link" href="#1.-%E9%9F%B3%E5%A3%B0%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E7%94%A8%E6%84%8F%26%E3%82%A2%E3%83%83%E3%83%97%E3%83%AD%E3%83%BC%E3%83%89" aria-hidden="true"></a> 1.　音声ファイルを用意&amp;アップロード</h3>
<p data-line="49" class="code-line">Pythonでロジック作ってwavファイルを生成するのめんどくさいので、Azure Speech Studioを活用します。</p>
<p data-line="51" class="code-line">社員を紹介している内容が入った30秒のwavファイルを生成しました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/7a7362e9a063-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="54" class="code-line"><br></p>
<p data-line="56" class="code-line">ファイルをアップロードします。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/9c26efc165d5-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="59" class="code-line"><br></p>
<p data-line="61" class="code-line">できました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/a1bdf2c8c9d0-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="64" class="code-line"><br></p>
<h3 id="2.-%E3%82%B9%E3%82%AD%E3%83%BC%E3%83%9E%E5%AE%9A%E7%BE%A9" data-line="66" class="code-line">
<a class="header-anchor-link" href="#2.-%E3%82%B9%E3%82%AD%E3%83%BC%E3%83%9E%E5%AE%9A%E7%BE%A9" aria-hidden="true"></a> 2. スキーマ定義</h3>
<p data-line="67" class="code-line">抽出したいフィールド（名前・説明・型・生成方法）を指定します。<br>
ファイルをアップロードすると、ファイル形式によってテンプレートの選択肢一覧が表示されます。<br>
1番上(Video shot analysis)は1から自分でスキーマを定義して、下2つはテンプレートになります。<br>
テンプレートを活用しても良いですが、自分の要望に合うフィールドを作成した方が良いかと思います。</p>
<p data-line="72" class="code-line">言語も自動か手動で選択ができます。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/f70fb97c710d-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="75" class="code-line"><br></p>
<p data-line="77" class="code-line">今回はこんな感じにしました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/ca329676d6b5-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="80" class="code-line"><br></p>
<h3 id="3.-%E5%88%86%E6%9E%90%E3%81%AE%E5%AE%9F%E8%A1%8C" data-line="82" class="code-line">
<a class="header-anchor-link" href="#3.-%E5%88%86%E6%9E%90%E3%81%AE%E5%AE%9F%E8%A1%8C" aria-hidden="true"></a> 3. 分析の実行</h3>
<p data-line="83" class="code-line">左上の「Run analysis」をクリックして分析を開始。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/19c1681d1569-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="86" class="code-line"><br></p>
<h4 id="4.-%E7%B5%90%E6%9E%9C" data-line="88" class="code-line">
<a class="header-anchor-link" href="#4.-%E7%B5%90%E6%9E%9C" aria-hidden="true"></a> 4. 結果</h4>
<p data-line="89" class="code-line">おーー。良い感じだ。<br>
30秒の短い動画だから精度が良い可能性もありますが、期待してた結果を返してくれました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/260df7f9720d-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="93" class="code-line">ちなみにwavファイルの時点ではフラッターになってたのが「Flutter」に変換されてスキーマに入れられてるの超高評価ポイント。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/5a507aed21b5-20241201.png" loading="lazy" class="md-img"></p>
<h1 id="%E5%8B%95%E7%94%BB(.mp4)%E3%81%A7%E6%A4%9C%E8%A8%BC" data-line="97" class="code-line">
<a class="header-anchor-link" href="#%E5%8B%95%E7%94%BB(.mp4)%E3%81%A7%E6%A4%9C%E8%A8%BC" aria-hidden="true"></a> 動画(.mp4)で検証</h1>
<h3 id="1.-%E5%8B%95%E7%94%BB%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E3%82%A2%E3%83%83%E3%83%97" data-line="98" class="code-line">
<a class="header-anchor-link" href="#1.-%E5%8B%95%E7%94%BB%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E3%82%A2%E3%83%83%E3%83%97" aria-hidden="true"></a> 1. 動画ファイルをアップ</h3>
<p data-line="99" class="code-line">社内で活発に行われている、生成AIのナレッジ共有会の動画をアップロードしてみます。<br>
動画の時間は30分で、拡張子はmp4です。</p>
<p data-line="102" class="code-line">言語を日本語に指定したら、分析の結果がうまく返ってこなかったので今回は自動にしておきます。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/991dc1f177ca-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="105" class="code-line"><br></p>
<h3 id="2.-%E3%82%B9%E3%82%AD%E3%83%BC%E3%83%9E%E5%AE%9A%E7%BE%A9-1" data-line="107" class="code-line">
<a class="header-anchor-link" href="#2.-%E3%82%B9%E3%82%AD%E3%83%BC%E3%83%9E%E5%AE%9A%E7%BE%A9-1" aria-hidden="true"></a> 2. スキーマ定義</h3>
<p data-line="108" class="code-line">スキーマはこんな感じにしてみました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/38d3b6260721-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="111" class="code-line"><br></p>
<h3 id="3.-%E5%88%86%E6%9E%90%E3%81%AE%E5%AE%9F%E8%A1%8C-1" data-line="113" class="code-line">
<a class="header-anchor-link" href="#3.-%E5%88%86%E6%9E%90%E3%81%AE%E5%AE%9F%E8%A1%8C-1" aria-hidden="true"></a> 3. 分析の実行</h3>
<p data-line="114" class="code-line">左上の「Run Analysis」をクリックして分析を実行。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/cfc75a0310a3-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="117" class="code-line"><br></p>
<h3 id="4.-%E7%B5%90%E6%9E%9C-1" data-line="119" class="code-line">
<a class="header-anchor-link" href="#4.-%E7%B5%90%E6%9E%9C-1" aria-hidden="true"></a> 4. 結果</h3>
<p data-line="120" class="code-line">かなり時間がかかったものの分析が完了しました。</p>
<p data-line="122" class="code-line">まず最初に、この動画に対して一つの結果が返ってくるのかと思ってたのですが、どうやら違うようです。<br>
1~2分ごとに分割されて、分割された動画ごとに指定したスキーマの結果が返ってきました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/1265d02d2403-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="127" class="code-line"><br></p>
<p data-line="129" class="code-line">他のコンテンツも見てみました。<br>
分割のタイミングによってはスキーマに該当するワードが出てきたりするので、その時は値が抽出されてます。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/ce01580639cc-20241201.png" loading="lazy" class="md-img"></p>
<p data-line="133" class="code-line"><br></p>
<p data-line="135" class="code-line">うーん..<br>
イメージ的には動画全ての内容を踏まえたスキーマが一つ返ってくると思っていたので想定外でした。<br>
今回の22分の動画だと26分割されてるので、26個のスキーマを統合するのは自分でやらないといけない感じ??</p>
<p data-line="139" class="code-line">こんな感じでデータが返ってきてもどう使えるんだ?というのが感想です。<br>
何かいい方法あるのかな。</p>
<h1 id="%E6%84%9F%E6%83%B3" data-line="143" class="code-line">
<a class="header-anchor-link" href="#%E6%84%9F%E6%83%B3" aria-hidden="true"></a> 感想</h1>
<p data-line="144" class="code-line">めちゃくちゃ良いサービスだなと思いました。<br>
このサービスを活用することで、データ分析時のデータのバリエーションが多種多様になりそうです。<br>
ただ動画に関してはまだ使用用途が掴めません。</p>
<p data-line="148" class="code-line">気になるところとしては、ドキュメントとか音声のみのファイルはすでに解析モデルとかあるから、それと比べて精度に差があるのかな??<br>
あとは金額が気になるところではある..</p>


Azure AI Content Understanding(プレビュー)を正直レビュー!

1.　音声ファイルを用意&アップロード

azure

データ分析

microsoft

Discussion