<p data-line="0" class="code-line">Amazon Bedrock Data Automation(プレビュー)がリリースされたので、試してみました。</p>
<p data-line="2" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__8a600b438447f" src="https://embed.zenn.studio/card#zenn-embedded__8a600b438447f" data-content="https%3A%2F%2Faws.amazon.com%2Fjp%2Fbedrock%2Fbda%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://aws.amazon.com/jp/bedrock/bda/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://aws.amazon.com/jp/bedrock/bda/</a></p>
<h1 id="bedrock-data-automation(bda)%E3%81%A8%E3%81%AF" data-line="4" class="code-line">
<a class="header-anchor-link" href="#bedrock-data-automation(bda)%E3%81%A8%E3%81%AF" aria-hidden="true"></a> Bedrock Data Automation(BDA)とは</h1>
<p data-line="5" class="code-line">Amazon Bedrock Data Automation (以下BDA)は、ドキュメント、画像、音声、動画などの非構造化マルチモーダルコンテンツからデータを抽出するプロセスを簡略化するサービスです。この機能はKnowledge Baseと統合できるので、非構造化データから意味のある洞察を効率的に生成でき、RAGにおいてより関連性の高い応答を実現できます。</p>
<p data-line="7" class="code-line"><img src="https://res.cloudinary.com/zenn/image/fetch/s--SiHJ2apH--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/438121d0bdf55af2442fc756.png%3Fsha%3Dbaf28d3e780a66e62a25eaa9fbea5ebc98c235ce" loading="lazy" class="md-img"><br>
<em>Bedrock Data Automationのイメージ</em></p>
<p data-line="10" class="code-line">今までだと、非構造化データからの情報抽出は下記のような実装が必要でしたが、今回のBDAにより、簡単に情報抽出ができるようになったと考えています。</p>
<ul data-line="11" class="code-line">
<li data-line="11" class="code-line">PDFや画像からテキストを抽出するためのOCR処理の実装</li>
<li data-line="12" class="code-line">抽出したテキストを理解・構造化するためのLLMプロンプトの設計</li>
<li data-line="13" class="code-line">動画から音声を抽出し、文字起こし処理の構築</li>
</ul>
<h1 id="%E5%AE%9F%E9%9A%9B%E3%81%AB%E8%A7%A6%E3%81%A3%E3%81%A6%E3%81%BF%E3%81%9F" data-line="15" class="code-line">
<a class="header-anchor-link" href="#%E5%AE%9F%E9%9A%9B%E3%81%AB%E8%A7%A6%E3%81%A3%E3%81%A6%E3%81%BF%E3%81%9F" aria-hidden="true"></a> 実際に触ってみた</h1>
<p data-line="16" class="code-line">概要だけではわかりにくいと思うので、まずはイメージを掴むためにデモ版を使って検証していきます。</p>
<h2 id="%E6%A8%99%E6%BA%96%E5%87%BA%E5%8A%9B" data-line="17" class="code-line">
<a class="header-anchor-link" href="#%E6%A8%99%E6%BA%96%E5%87%BA%E5%8A%9B" aria-hidden="true"></a> 標準出力</h2>
<h3 id="%E9%81%8B%E8%BB%A2%E5%85%8D%E8%A8%B1%E8%A8%BC" data-line="18" class="code-line">
<a class="header-anchor-link" href="#%E9%81%8B%E8%BB%A2%E5%85%8D%E8%A8%B1%E8%A8%BC" aria-hidden="true"></a> 運転免許証</h3>
<p data-line="19" class="code-line">実際にBDAを使ってどのようなデータが抽出されるか確認してみます。データオートメーションの画面から「デモを見る」をクリック。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--CcyJSFTX--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/63021dc572684607432e87e0.png%3Fsha%3D1e26d971f5956048cedc915f6d2d89e4cfb1d7cf" loading="lazy" class="md-img"></p>
<p data-line="22" class="code-line">するとデモ版の一覧が表示されるので、今回は運転免許証で試してみます。運転免許証を選択したら、結果を生成をクリック。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--_XQcJfvN--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/18207289919dba26718e8990.png%3Fsha%3D534a9fce1149c9de28e3b0f39087166507b7dcd9" loading="lazy" class="md-img"></p>
<p data-line="25" class="code-line">結果がmarkdownで返ってきました。画像のように、免許証のデータがmarkdownで表示されています。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--lJRxkG8f--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/b6095be3c89df9c3e29c7871.jpg%3Fsha%3Df6c31b14586d60e8806c6c90dabf52eea3e53287" loading="lazy" class="md-img"></p>
<p data-line="28" class="code-line">また、Resultsでは要素ごとでも確認することができます。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--2DVd_COH--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/91445a8a2abdf0a3d62514c3.png%3Fsha%3Da82db6b428d140e00bf8a9f493208f262fc3ecab" loading="lazy" class="md-img"></p>
<p data-line="31" class="code-line">このように、BDAを使用することで免許証の要素を抽出することができました。</p>
<h3 id="%E5%8B%95%E7%94%BB" data-line="33" class="code-line">
<a class="header-anchor-link" href="#%E5%8B%95%E7%94%BB" aria-hidden="true"></a> 動画</h3>
<p data-line="34" class="code-line">次はアセットのファイルタイプを動画にしてみましょう。先ほどと同様にアセットのファイルタイプをビデオにし、結果を生成します。データはre:Inventのkeynoteです。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--i_oPOf08--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/0c73a3fe0e62c0ed804c7463.png%3Fsha%3D1297697c0b871a6e512f7be78c8b0fb27692bb54" loading="lazy" class="md-img"></p>
<p data-line="37" class="code-line">動画全体の要約と各シーンごとの要約が出力されました。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--GnFssVtY--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/5b375203abdbbea21007c85f.png%3Fsha%3D1894138027c1098d915c620f2a98a43da44ce9ea" loading="lazy" class="md-img"></p>
<p data-line="40" class="code-line">動画に関しては要約だけではなく、完全な文字起こしも必要になってくる場面は多いと思います。<br>
ですので、「完全な音声トランスクリプト」をONにして、結果を再作成してみたいと思います。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--GSyEHu0O--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/587c3c9b07782dfb0fe278c8.png%3Fsha%3D9b92fbddd2f9f4e8f94dad1f1f6a8c573e2a262e" loading="lazy" class="md-img"></p>
<p data-line="44" class="code-line">クリックするとBDAプロジェクトを作成する画面になるので、プロジェクト名を入力して作成。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--JSqjYGJY--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/48a9dd36f624f81d096b918c.png%3Fsha%3D2276570639cc47a7943920f8431f9cc5fa34153a" loading="lazy" class="md-img"></p>
<p data-line="47" class="code-line">プロジェクトを作成すると、先ほどの結果と違い、完全な文字起こしができています。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--vUpJIlkb--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/bc8eec8313610508fb0f3646.png%3Fsha%3D58e26d88a35686314afe1ad3b9ba258cf370fd0a" loading="lazy" class="md-img"></p>
<p data-line="50" class="code-line">このように、動画に対してもきちんと要素を抽出することができました。</p>
<h2 id="%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%A0%E5%87%BA%E5%8A%9B" data-line="52" class="code-line">
<a class="header-anchor-link" href="#%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%A0%E5%87%BA%E5%8A%9B" aria-hidden="true"></a> カスタム出力</h2>
<p data-line="53" class="code-line">先ほどはドキュメントと動画について出力を行いました。次はカスタム出力を試してみます。現在、カスタム出力はドキュメントと画像の2つがサポートされています。カスタム出力は標準出力と違い、どのようなデータをどう抽出するか柔軟に定義でき、抽出したデータを他のシステムで使えるように変換できる機能です。</p>
<p data-line="55" class="code-line">まず、カスタム出力を行うために、ブループリントを作成します。ブループリントとは、特定のアセットタイプのカスタム出力設定を指定する方法です。</p>
<p data-line="57" class="code-line">ここでも概要を掴むためにサンプルデモを使用します。今回はサンプルデモとして請求書のブループリントを作成します。Generate blueprintをクリックしましょう。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--omxe6BYL--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/3609cb260ec1e77d90b5cbe8.png%3Fsha%3D369a339f22b8c4f98116aee232d6ca11601f65d1" loading="lazy" class="md-img"></p>
<p data-line="60" class="code-line">すると画像のような結果が表示され、請求書の項目が抽出されていることがわかると思います。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--KoUnrjGK--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/9c615286131ac10ec97dffc3.png%3Fsha%3D6477cf9aa11c4c9e73fa7338870fa85e9d69ba53" loading="lazy" class="md-img"></p>
<p data-line="63" class="code-line">では実際にこのブループリント（サンプルデータなので、コピーしたものを使用）を使って、テキスト抽出をしてみます。抽出した結果が以下の通りです。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--ce0YDbaD--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/f635044dfc2f13ce6cda10d9.png%3Fsha%3D3c210383176dff6bce58ee90c00e4aeb69df7fde" loading="lazy" class="md-img"><br>
<em>標準出力</em><br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--qaMhye7k--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/bcbe56068b3cd6a99455bf16.png%3Fsha%3D74281d706db21340db380b28ebeb2b1ea372f5b2" loading="lazy" class="md-img"><br>
<em>カスタム出力</em></p>
<p data-line="69" class="code-line">一部抽出出来ていない項目がありますが、カスタム出力を使用しブループリントで指定した形式で情報抽出ができました。</p>
<h1 id="%E6%96%99%E9%87%91" data-line="71" class="code-line">
<a class="header-anchor-link" href="#%E6%96%99%E9%87%91" aria-hidden="true"></a> 料金</h1>
<p data-line="72" class="code-line">BDAの料金（オレゴン）は以下の通りです。</p>
<h2 id="%E6%A8%99%E6%BA%96%E5%87%BA%E5%8A%9B-1" data-line="73" class="code-line">
<a class="header-anchor-link" href="#%E6%A8%99%E6%BA%96%E5%87%BA%E5%8A%9B-1" aria-hidden="true"></a> 標準出力</h2>
<table data-line="74" class="code-line">
<thead data-line="74" class="code-line">
<tr data-line="74" class="code-line">
<th>コンテンツタイプ</th>
<th>料金</th>
</tr>
</thead>
<tbody data-line="76" class="code-line">
<tr data-line="76" class="code-line">
<td>オーディオ</td>
<td>0.006ドル/分</td>
</tr>
<tr data-line="77" class="code-line">
<td>文書</td>
<td>0.010ドル/ページ</td>
</tr>
<tr data-line="78" class="code-line">
<td>画像</td>
<td>0.003ドル/画像</td>
</tr>
<tr data-line="79" class="code-line">
<td>ビデオ</td>
<td>0.050ドル/分</td>
</tr>
</tbody>
</table>
<h2 id="%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%A0%E5%87%BA%E5%8A%9B%EF%BC%88%E6%A8%99%E6%BA%96%E5%87%BA%E5%8A%9B%E3%82%92%E5%90%AB%E3%82%80%EF%BC%89" data-line="81" class="code-line">
<a class="header-anchor-link" href="#%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%A0%E5%87%BA%E5%8A%9B%EF%BC%88%E6%A8%99%E6%BA%96%E5%87%BA%E5%8A%9B%E3%82%92%E5%90%AB%E3%82%80%EF%BC%89" aria-hidden="true"></a> カスタム出力（標準出力を含む）</h2>
<table data-line="82" class="code-line">
<thead data-line="82" class="code-line">
<tr data-line="82" class="code-line">
<th>コンテンツタイプ</th>
<th>料金</th>
</tr>
</thead>
<tbody data-line="84" class="code-line">
<tr data-line="84" class="code-line">
<td>文書</td>
<td>0.040ドル/ページ</td>
</tr>
<tr data-line="85" class="code-line">
<td>画像</td>
<td>1画像あたり0.005ドル</td>
</tr>
</tbody>
</table>
<p data-line="87" class="code-line">カスタム出力はページの処理に使用されるブループリントに1〜30個の定義済みフィールドがある場合に適用されます。仮に30個を超えるフィールドがある場合、30個を超える追加フィールドごとに0.0005ドルが請求されます。</p>
<p data-line="89" class="code-line">例：<br>
ドキュメントが10ページあり、40個のフィールドを持つブループリントを使用して処理した場合</p>
<p data-line="92" class="code-line">1ページあたりの料金：<br>
0.040 ドル + 10(30 を超える追加フィールドの数) * 0.0005 ドル = 0.045 ドル</p>
<p data-line="95" class="code-line">合計金額：<br>
0.045(1ページあたりの料金) * 10 ページ = 0.45ドル</p>
<p data-line="98" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__c05c6cc5ba72c" src="https://embed.zenn.studio/card#zenn-embedded__c05c6cc5ba72c" data-content="https%3A%2F%2Faws.amazon.com%2Fjp%2Fbedrock%2Fpricing%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://aws.amazon.com/jp/bedrock/pricing/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://aws.amazon.com/jp/bedrock/pricing/</a></p>
<h1 id="%E3%81%BE%E3%81%A8%E3%82%81" data-line="100" class="code-line">
<a class="header-anchor-link" href="#%E3%81%BE%E3%81%A8%E3%82%81" aria-hidden="true"></a> まとめ</h1>
<p data-line="101" class="code-line">非構造データをRAGとして扱う場合、様々な方法で要素を抽出していましたが、Bedrock Data Automationを使用することで簡単に情報を抽出することが可能になりました。今回のブログでは触れませんでしたが、Knowledge Baseとの連携もできますので、次はそのブログを記載したいと思います。</p>


Amazon Bedrock Data Automation(プレビュー)を試してみた

カスタム出力（標準出力を含む）

Discussion