Amazon Qでの生成AIアプリデプロイ[AWS re:Invent chaktalk]

記事の内容

AWS re:Invent 2023で参加したセッションの内容の記録です。
「Deploy generative AI applications on enterprise data with Amazon Q」という題目で2023の目玉であろうAmazon Qを使ったアプリのデプロイに関する内容です。

• speaker
  • Jean-Pierre Dodel
  • Vijai Gandikota

https://github.com/aws-samples/amazon-q-slack-gateway

Agenda

• 生成AIを活かせる機会
• 生成AIの課題
• Amazon Qとは
• キーとなるユースケース
• 重要機能
• デモ
• カスタマー事例
  

生成AIを活かせる機会

• マーケティングマネージャー
  • 製品を発売する準備をしていて、製品の説明ページなどの資料を作成する必要があるとき
• セールスマネージャー
  • 顧客とのコミュニケーションに関するすべての会話やメモを要約し、顧客との電話に備えるとき
• R&Dマネージャー
  • 製薬会社の研究開発エンジニアまたは科学者が、新薬の開発と設計の方法についてより多くの情報に基づいた決定を下せるように、以前の2つの薬とその副作用を比較する必要があるとき
• ファイナンシャルアナリスト
  • 四半期報告書や財務レポートを見て傾向を理解し、収益の落ち込みや増加を引き起こした可能性のある特定の要因を関連付けるとき
• ヘルプデスク従業員
  • 新入社員により良いサポートを提供しようと考えているとき

生成AIの課題

• 正確さ
  • すべての人が、コンテンツの正確を求めている。しかし、インターネットデータやパブリックコメントのトレーニングを行っているため、顧客の情報については何も知らない。加えて、LLMは幻覚を見ることがあり、ソースの帰属を提供しない。したがって、企業のコンテキストではあまり役に立たたない。
• セキュリティと制御
  • エンドユーザーが閲覧権限のあるコンテンツから、閲覧する権利のある回答を得られるようにしたいと考えているだろう。そのため、ドキュメントのすべてのアクセス制御情報によって、エンドユーザーが取得する最終的な回答を表示する権利があることを確認する必要がある。しかし、検索拡張世代ソリューション(RAGソリューション)を実装しようとすると、何百万もの文書をふるいにかけることになり、探すのが簡単なことではない。
• Time to value(TTV)
  • 生成AIの構築は簡単ではないだろう。多くの人が、ビジネス上の問題に集中したいが、なるべく大きな運用はしたくないと思う。

Amazon Qとは

• Amazon Qは、仕事用に特別に構築されており、ビジネスニーズに合わせて調整できる。
• これを使用して従業員の生産性を向上させ、従業員は Q&A (Web アプリケーション) を通じて質問に対する回答を得たり、必要な情報を見つけてビジネス上の問題を解決したり、企業や社内の製品にあるデータや専門知識に基づいてコンテンツを生成したり、アクションを実行したりできる。
• AWS でアプリケーションを構築するのに役立つことができるように、17年以上の構築、デプロイ、運用データを使用してトレーニングした。
• Amazon Q for Amazon QuickSightを使用するとネットワークから質問したり、従業員が定義したデータに基づいて新しいネットワークを作成したりすることもできる。
• コンタクトセンターサービスである Amazon Q for Amazon Connect を使用すると、コンタクトセンターのエージェントにタイムリーで正確な回答を提供することで、顧客のエクスペリエンスを向上させ、さらに、顧客に提供できる関連ドキュメントへのリンクなどの情報を見つけやすくすることができる。
• 近日公開予定のAmazon Q for AWS Supply Chainは、需要と供給のマネージャー、在庫マネージャー、およびパートナーが、過剰在庫の状況を特定し在庫を減らすアクションを実行する際、推奨事項を作成するのに役立つ。
  

主要なユースケース

• 合理的なサーチエクスペリエンス

  • もっとも考えられることは、社員全員が何年も経験してきたナレッジが何かを検索しても何も見つからないというフラストレーションの溜まる経験を変えることである。

• コンテンツ生成の高速化

  • マーケティングマネージャーが新製品の開発準備をしていること、製品説明ページやブログを作成する必要があるとき、作業にかかる時間を短縮するために、新しいコンテンツを生成するための強力なシステムになる。

• サマリーの作成

  • 会議の準備をしたり、読む時間がないドキュメントを理解したりするだろう。実際にAmazonキューを使用すると、それを即座に要約できる。

• 重要な分析点の抽出

  • ドキュメントの比較分析を実行し、エンドユーザーはデータに基づいてより迅速かつ適切な意思決定を行うことができる。
    

キーとなる機能

• 会話型インターフェース

  • 回答のもととなった参照ソースも同時に確認できる
    

• プラグイン

  • 例えば、チャットのサマリーを要約して、Jiraのチケット作成時に自動でチケット内容を入力してくれる
    

• 安全とセキュリティ

  • 有害性を考慮して事前に構築されたガードレールを使用する
  • 応答を企業コンテンツのみに制限する
  • 応答に決して現れないブロックされた単語やフレーズを指定する
    

• IDクロウニングと安全なクエリ、 コネクタ

  • SharePoint、Salesforce、データベース、Confluenceなど、さまざまなタイプのデータソースに接続できる。加えて、そのコンテンツの表示が許可されているユーザーとグループで構成されるACL情報も含まれる。
    コネクタは、データソースからコンテンツ、メタデータ、権限をユーザーストアに取り込む。そしてIDクローラーはユーザーとグループのマッピングを抽出する。 クエリ時にはユーザーの承認をチェックし、許可されたコンテンツを取得する。
    
    

• 管理コンソール

  • 3ステップで簡単にアプリを構築
    

デモ

• Slackチャットサンプルアプリ（詳細はこちら）
  

カスタマー事例

• GILEAD（医薬品開発）
  製薬研究者が何百ものドキュメントにアクセスし、適切なマシンで適切な作業を行うために、非常に正確な回答を得ることができることにより、研究を加速させることができた。

• Wunderkind（マーケティング）
  コンテンツ検出にかかる時間だけでも30~50%以上削減できた。メール ドリップ、ホワイトペーパー、広告コピーなどの販売およびマーケティング コンテンツの作成も容易になります。資料を最初から作成するという骨の折れる作業に時間を費やすのではなく、コンテンツのパーソナライゼーションの拡大に注力できるようになった。