re:Invent 2024: ShowpadのGen AI導入 - 15機能実装の成功例
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！
📖 AWS re:Invent 2024 - Boost productivity and empower revenue teams with generative AI (AIM214)
この動画では、Generative AIの導入における課題と成功のポイントについて、ShowpadのAI実装事例を交えながら解説しています。企業のAIパイロットプロジェクトの90%が本番環境への移行に失敗する中、Showpadは1年半でゼロから15のAI機能をリリースし、営業担当者の83%がプレゼンの質向上を実感するなど、具体的な成果を上げています。Amazon Bedrockを活用したAI-powered searchやAI生成のテスト問題作成など、実際の機能実装例を示しながら、AIの実装における技術的な課題とビジネス価値の両立について詳しく説明しています。また、Amazon VPC LatticeやAnthropic Claude 3など具体的な技術スタックにも触れ、実践的なアーキテクチャの知見を共有しています。
※ 動画から自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますので、正確な情報は動画本編をご覧ください。
※ 画像をクリックすると、動画中の該当シーンに遷移します。
re:Invent 2024関連の書き起こし記事については、こちらのSpreadsheet に情報をまとめています。合わせてご確認ください！
本編
Generative AIによる営業支援：Showpadの事例紹介
「Generative AIで生産性を向上させ、営業チームを強化する」というセッションへようこそ。私はAWSのSolutions ArchitectのAnastasia Pachni Tsitiridouです。本日はこのような機会をいただき、大変嬉しく思います。 私の仕事の中で最も刺激的な側面の一つは、テクノロジーの限界に挑戦する革新的なお客様との協働です。本日は、Showpadから、Chief Software ArchitectのJeroen MinnaertとPrincipal Engineer, AI & SearchのPieterjan Crielをお迎えしています。Showpadは、数百のチームの営業プロセスを効率化する、先進的な営業支援プラットフォームを提供しています。今日は、ShowpadがAWSのGenerative AI、特にAmazon Bedrockをどのように活用して、営業担当者の生産性と効果を高めているかについてお話しします。
本題に入る前に、皆様のことを少し知らせていただければと思います。 挙手でお答えください。営業職の方はどのくらいいらっしゃいますか？マーケティング職の方は？プロダクトオーナーやデベロッパーなど、より技術的な役割の方は？ Architectの方はいらっしゃいますか？技術的な観点で非常に多様な聴衆の皆様にお集まりいただいていますので、それぞれの方に響くトピックをお届けできると確信しています。本日のセッションの内容をご紹介します。まず、Generative AI導入における一般的な落とし穴について探ります。次に、成功事例から見えてきた有望なユースケースとベストプラクティスについて議論します。その後、JeroenがShowpadのAIの取り組みについて、ビジネス価値とユーザー体験の向上にどのように貢献しているかを説明します。そして、PieterjanがShowpadのプラットフォームにおけるGenerative AIの統合について、その裏側で何が起きているのかを実演します。最後に、ベストプラクティスを振り返り、皆様独自のAIイニシアチブをサポートする有用なAWSリソースをご紹介します。
AI導入の課題とAWSの解決策
まずは、現実を冷静に見つめることから始めましょう。最近の調査によると、企業のパイロットプロジェクトの最大90%が本番環境への移行に失敗しているとされています。この統計が示す意味は重大です。これは単なる財務的な損失だけでなく、チームの挫折感、困難な対話、そして全体的なモラルの低下につながる可能性のある、数え切れない時間の浪費を表しています。 お客様との対話を通じて、技術的な問題とビジネスの整合性の問題という2つの主要な領域に分類できる様々な課題が浮かび上がってきました。これらは5つの主要なポイントに集約できます。技術面では、組織はしばしばデータ品質の低さ、リスク管理の問題、高額な開発・デプロイメントコスト、既存システムとの統合の困難さに直面します。ビジネス面では、企業はAIイニシアチブの具体的な価値を示すことに苦心することが多いです。さらに、ビジネス目標の不整合や不明確さは、組織の核心的なニーズに対応できない、あるいは意味のある影響を与えられないプロジェクトにつながる可能性があります。
持続可能なGenerative AI機能を提供するためには、技術的およびビジネス上の課題の両方に取り組むことが重要です。まずは技術的な課題から始めましょう。具体的なアーキテクチャには深入りしませんが、これらの課題を克服するのに役立つプラットフォームとAmazon Bedrockの主要な機能をいくつかご紹介します。これらのポイントに共感される方は、今週開催される、より専門的なトークにぜひご参加ください。 ここで、Generative AI実装の重要な側面である、リスク管理とデータ品質の確保について触れたいと思います。これらは、顧客と従業員の両方に価値を提供し、信頼を構築する上での基盤となります。この点で、AWSは最前線に立ち、これらの課題に直接対応する重要な機能を提供しています。包括的なデータサービス群により、データの保存、管理、ガバナンス、活用において比類のない柔軟性を提供し、あらゆる段階でデータの整合性を確保します。
AWSは最も安全なクラウドプラットフォームとして業界をリードしています。私たちのAIサービスには、Identity and Access Managementを通じたアクセス制御管理を含む、セキュリティ機能が組み込まれています。また、コンプライアンスガバナンス、責任あるAI、プライバシーのための堅牢なツールも開発しており、これらすべてが連携してデータを保護し、AI開発とデプロイメントにおける揺るぎない信頼を維持しています。
AIの世界において、スケーラビリティは最も重要な要素です。これがなければ、どんなに画期的なAIソリューションも理論上のものにとどまってしまいます。AWSはこの重要なニーズを認識し、その課題に立ち向かっています。私たちは、お客様のAIイノベーションをグローバルに展開できる強固な基盤を提供し、必要な場所での迅速な導入と拡張を可能にします。これにより、お客様の取り組みが実世界で具体的な価値を持つ成果へと確実に結実し、AIの可能性を実用的な現実へと転換します。
Amazon Bedrockの革新的機能
次に、もう一つのよくある課題である、Generative AIアプリケーションの開発・デプロイにかかる高コストの問題に移りましょう。この点について、Amazon Bedrockは開発時間を大幅に短縮し、コラボレーションを促進し、ニーズに合わせたコスト効率の良いデプロイオプションを提供する強力な機能を備えたソリューションを提供しています。開発を加速し効率を高める2つの画期的な機能、Amazon Bedrock FlowsとAmazon Bedrock Prompt Managementについてご紹介したいと思います。
ワークフローを簡単に作成、テスト、デプロイできるビジュアルビルダーを想像してみてください - それがAmazon Bedrock Flowsです。直感的なドラッグ＆ドロップインターフェースを使用して、Foundation Model、プロンプト、AWSサービスをシームレスに接続できるデジタルキャンバスです。複雑なコードと格闘する必要はありません。すべてがビジュアル化されており、誰でもAI開発に取り組めるようになっています。さらに素晴らしいのは、Amazon Guard Railsとの統合により、有害なコンテンツや不要なトピックを自動的にフィルタリングできる堅牢な安全機能が組み込まれていることです。また、デバッグと検証については、ワークフローの実行を完全に可視化する強化された機能で万全のサポートを提供しています。
次にプロンプト管理機能に目を向けてみましょう。この機能は、エンジニアリングプロセス全体を効率化する真の効率ブースターです。複数のモデルと設定を簡単に試すことができる、いわばAI開発のスイスアーミーナイフのような存在です。 プロンプトのバリエーションを並べて比較し、即座にテストするためにプロンプトを自動実行し、下流のアプリケーション用にプロンプトのバージョン管理と提供を簡単に行えることを想像してみてください。これは単なる機能ではなく、AI開発の効率性における革命的な進歩だと考えています。
ShowpadのAI戦略：価値創出と実装の成功例
最後の技術的な課題である、Generative AIと既存のシステムやプロセスの統合について考えてみましょう。この課題は2つの側面に分けることができます。1つ目は、自社のデータを活用し、様々なデータベースやストレージシステムと連携する必要があるということです。 この課題に対して、Amazon Bedrock Knowledge Basesは非常にシンプルなソリューションを提供します。わずか数クリックで独自のデータソースを指定するだけで、システムが残りの処理を自動的に行います。
ドキュメントを自動的に取得して処理することができます。Amazon S3、Confluence、SharePoint、Salesforceなど、幅広いリポジトリに対応しており、Webから直接データを取得することも可能です。
コンテンツが取り込まれると、Amazon Bedrock Knowledge Baseが魔法のように処理を行います。コンテンツを管理しやすいテキストブロックに賢く分割し、それらをベクトル化して、お好みのVector Databaseに保存します。このプロセス全体がシームレスに管理され、コンテンツの比較や障害処理、暗号化といった複雑なタスクを、ユーザーが手を煩わせることなく処理します。Vector Databaseの選択肢としては、AmazonのサービスやPinecone、Redis Enterprise Cloud、Amazon Aurora、MongoDBなど、既存のインフラに最適なものを選ぶことができます。
さて、システム統合における2番目の課題は、既存のプロセスや企業システムとのシームレスな統合についてです。 つまり、データとプロセスを統合して、真に革新的な自動化を実現するにはどうすればよいのでしょうか？その答えがAmazon Bedrock Agentsにあります。これらのAgentは、生成AIと現在のプロセスの間を取り持つ高度な橋渡し役として機能し、企業の既存システムやデータソースとスムーズに連携します。企業のインフラと連携しながら複雑な多段階のタスクを実行できるバーチャルアシスタントを想像してみてください。これがAmazon Bedrock Agentsで実現可能な現実なのです。
設定が完了すると、AgentはAIを活用したパートナーとなります。ユーザーからのリクエストを素早く分析し、必要なAPIを自動的に呼び出し、様々なシステムにアクセスしてリクエストを処理します。この優れた機能により、既存システムを大幅に改修することなく、AIと既存プロセスの間でスムーズな連携が可能になります。具体例を挙げて説明しましょう。不良品に対する返金を求める顧客がいるとします。これまでは、複数のシステムにまたがる手作業の手順を踏む必要がありました。
では、Amazon Bedrock Agentsを使用した場合のプロセスを見てみましょう。 まず、Agentがユーザーのリクエストを巧みに分析し、実行可能な単純なアイテムに分解します。このアクションプランが整うと、AWS Lambdaなどのツールを活用して、様々なデータソースにアクセスできます。この例では、特定の注文の購入詳細を確認するために注文データベースにアクセスし、その際にユーザーの境界を尊重し、ユーザーが自身の購入履歴のみにアクセスできるようにします。その情報を得た上で、会社のナレッジベースと照合し、返金ポリシーに準拠していることを確認します。
結果を確認した後、すべてが問題ないと判断されれば、財務システムで迅速に返金プロセスを開始することができます。最後の仕上げとして、顧客のCRMレコードを更新し、パーソナライズされた確認メールを顧客に送信することも可能です。このエレガントなAI駆動のフローは、単に手作業を減らすだけではありません。効率性の調和を生み出し、プロセスを加速し、ポリシー適用の一貫性を確保し、既存のシステムとシームレスに統合します。その結果、業務効率の調和のとれた融合が実現されます。
業務効率と顧客満足度の向上が調和して、組織全体に響き渡ります。私たちは技術的な課題をすべて解決してきました。これらの課題は確かに重要ですが、AWSの包括的なツールセットが効果的なソリューションを提供しています。ここで、より戦略的なアプローチが必要となるビジネスアライメントの課題に焦点を移したいと思います。私たちが見ている2つの主要なビジネス課題は、具体的なビジネス価値の実証とAIイニシアチブを明確なビジネス目標に整合させることです。
初期導入に成功した事例から、Generative AIプロジェクトが本番環境に移行する際の2つの重要な領域が明らかになっています。1つ目はプロダクトイノベーションです。この領域は、特にSaaSプラットフォームや段階的な価格モデルを持つ製品にとって、大きな収益成長の機会を表しています。AI機能を統合することで、企業は新機能を導入したり既存機能を強化したりして、魅力的なアップセルの機会を創出できます。ただし、このイノベーションが収益にプラスの影響を与えることを確実にするために、正確な計測と課金戦略を実装することが重要です。
2つ目の側面は生産性の向上です。この側面は、従業員にGenerative AIツールを提供することで、直接的なコスト削減につながります。組織は定型業務にかかる時間を大幅に削減し、チームメンバーが高付加価値の活動に集中できるようになります。例えば、AIを活用したコーディング支援により、ドキュメント作成やユニットテストなどの時間のかかるタスクを自動化し、開発者がより魅力的な業務に集中できるようになります。プロダクトイノベーションと生産性向上に戦略的に焦点を当てることで、組織はAIイニシアチブのビジネス価値を効果的に実証できます。このアプローチは、収益成長と業務効率を促進するだけでなく、AIプロジェクトを明確なビジネス目標に整合させ、ビジネスアライメントにおける重要な課題に対処します。
では、AIを実践するためのベストプラクティスをいくつか見ていきましょう。私たちが観察したベストプラクティスの1つは、製品にAIを組み込むことです。このアプローチが重要な理由は2つあります。1つ目は、慣れ親しんだユーザー体験を妨げることなく、より速いユーザー採用を促進できることです。2つ目は、組み込まれた機能が明確な境界を持ち、通常は顧客の入力に依存しないため、実装が簡素化されることです。
実践的な例をいくつかご紹介しましょう。一つのアプローチは、パーソナライズされたコンテキストを意識したコンテンツの作成です。 検索バーの直下に検索結果をサマリー表示し、ユーザーに即座にカスタマイズされた情報を提供するようなイメージです。もう一つの例は、 インテリジェントなレコメンデーションと直感的なインターフェースによるユーザー体験の向上です。例えば、顧客が自身の商品をマーケットプレイスに出品できるオンラインリテーラーの場合、右クリックで写真の背景を削除したり照明を改善したりする機能を提供することで、商品出品のプロセス全体をより簡単にすることができます。
これらの組み込みAI機能は、比較的実装が容易なため、Generative AIを製品に統合するための優れた出発点となります。経験と自信を積んでいけば、より複雑なタスクに進むことができます。例えば、 カスタマーの負担を大幅に軽減するAIパワードのサポートやセルフサービス機能を組み込むことができます。また、ルーチンタスクを処理するためにAIを統合することも可能です。小規模から始めて徐々に拡大していくことで、堅実なAI戦略を構築できることがわかります。
この戦略により、チームの学習曲線を管理可能な範囲に保ちながら、ユーザー体験の向上と業務の効率化を実現できます。次に、Generative AIが社内プロセスをどのように革新し、効率性を高め、コストを削減できるかを見ていきましょう。多くのお客様が社内ユースケースでの業務改善に注力していますが、それには理由があります。社内での展開は、パイロットや実験のための安全な環境を提供し、顧客向けアプリケーションに進む前に具体的なメリットを実証するための理想的な実験場となります。先ほどのオンラインリテーラーの例でも見たように、一般的な返金処理の自動化などが可能です。さらに、既に述べたように、チームが本当に重要な業務に専念できるようになります。
Generative AIは特に、ダークデータの可能性を引き出す際に真価を発揮します。 長年にわたってデジタルの埃を被ってきた膨大な情報から、これまで隠れていた価値ある洞察を引き出すことができるのです。医療分野を例に挙げると、AIは現在、何年もの電子カルテ、医用画像データ、研究論文を分析しています。この技術により、早期疾病検出、個別化された治療計画、さらには新薬の発見につながる可能性のある隠れたパターンや相関関係が明らかになっています。
Generative AIの魔法はデータ分析にとどまりません。 ソフトウェア開発における有用性については既に触れましたが、その影響は様々なチームに及びます。 マーケティングにおいては、パーソナライズされた質の高いコンテンツを提供し、セールスとマーケティングのスキルを向上させるゲームチェンジャーとなっています。また、リードナーチャリングと収益運用を革新し、見込み客から顧客への転換を加速させています。
社内アプリケーションからAIの導入を始めることは、戦略的な利点があります。これはAIの能力に対する信頼と自信を築き、プロセスを最適化し、将来のより野心的で広範なAIイニシアチブの基盤を築くための足がかりとなります。小さく始めて大きく考えることで、組織におけるAIを活用した変革の舞台を整えることができるのです。この2つの重要な領域に焦点を当てることで、組織はAIイニシアチブの価値を明確に示すことができます。この戦略的アプローチは、スムーズな導入と実装への道を開くだけでなく、製品提供と業務能力の両面で大きな進歩を促進します。
ここまで、Generative AIの導入における課題と、製品イノベーションと業務改善におけるAI実装のベストプラクティスについて説明してきました。では、これらの原則が実際にどのように機能するのか、実例を見てみましょう。AIの実装を成功させた企業の素晴らしい例として、Showpadをご紹介できることを大変嬉しく思います。Showpadは、エンドユーザーの生産性向上に直接つながる製品イノベーションを通じて、具体的なビジネス価値を実証し、AIを効果的に本番環境に導入したお客様の優れた例です。
Showpadの具体的なAI機能とその効果
皆さん、こんにちは。re:Inventへようこそ。皆さんにとって初日ですね。本当にようこそお越しくださいました。私はShowpadのChief Software ArchitectのJeroenです。今日は、私たちのGenerative AIの取り組みについてお話しさせていただきます。その前に、皆さんに簡単な質問をさせてください。挙手でお答えいただきたいのですが、何か商品を購入しようとした際に、販売側の担当者が自社製品の価値を適切に説明できていないと感じた経験のある方はいらっしゃいますか？
多くの手が挙がっているのが見えますね。販売者にとっては良くないことですが、これから私がお話しする内容にとってはぴったりです。なぜなら、Showpadでは、営業担当者のこうした準備不足の状況をよく目にするからです。これには2つの理由があります。一つは、営業担当者が適切なコンテンツ、つまり買い手とのやり取りで使用する適切な情報やマーケティング資料にアクセスできていないこと。もう一つは、会話をより効果的にするための適切なトレーニングとコーチングを受けていないことです。これにより、買い手の体験が悪化し、結果として機会と収益を逃してしまいます。
Showpadでは、マーケティング、セールス、そしてバイヤーを一つにまとめるプラットフォームを構築しました。このプラットフォームでは、顧客との会話を本当に次のレベルに引き上げることを目指しています。そのために、マーケターにはセールスコンテンツ管理プラットフォームを提供し、営業担当者に情報を簡単に配信できるようにしています。営業担当者には、セールススキル向上のためのツールとコーチングを提供しています。そして最後に、営業担当者とバイヤーをデジタルディールルームで結び付け、より双方向のコラボレーションを可能にしています。
Showpadはベルギーの企業で、本日皆様の前でお話しできることを大変光栄に思います。 ヨーロッパからLas Vegasまで来ましたが、私たちは約400名の従業員を擁し、年間経常収益1億ドルの達成に近づきつつあります。約50カ国、1,400社のお客様に単一のセールスプラットフォームを提供しています。活動実績としては、月間670万件のバイヤーとのインタラクションがあり、これにより営業・マーケティングの生産性が25%向上しています。
おそらく驚かれないと思いますが、私たちも熱心なAmazonのユーザーです。Showpadは約100のAmazonサービスの上に構築されており、Bedrock、SageMaker、OpenSearch、AWS Lambdaなどのサービスを活用しています。AIの取り組みを始めた時、私たちは単にチャットボットを作ることだけに注力したくありませんでした。一歩下がって、営業担当者にとって困難だけれども検証は容易なタスクに焦点を当て、営業特有のユースケースを本当の意味で取り入れるにはどうすればよいかを考えました。
2023年、私たちはまさにそこから始め、4つの機能をリリースしました。これらについては後ほど詳しくご説明します。これらの機能を初めてお客様に提供し、そして2024年に入ると、その数を倍増させました。4つから8つの機能へと拡大し、お客様がより効果的に、そしてお客様との商談により万全の準備で臨めるようにしました。しかしこれは2024年の始まりに過ぎませんでした。ご存知の通り、12月を迎え、2024年も終わりに近づいていますが、現在までに約15のAI機能をリリースしています。わずか1年半の間に、ゼロからスタートして15のAI搭載機能を展開するまでに至ったのです。
現在、ShowpadではAI搭載機能を四半期ごとにリリースするペースが定着していますが、これは単にランダムに機能を提供することではありません。価値を届けることが重要なのです。そしてその価値は、私たちが支援している市場のプレイヤーやお客様によって実証されています。アナリストたちは、私たちのお客様に対する責任あるAIの導入を高く評価しています。バイヤー体験も向上しており、83%の営業担当者がプレゼンの質が向上したと報告しています。そして最後に、ビジネス成果も向上しており、約5.5%の売上目標達成率の改善が見られています。
これらは素晴らしい数字で、見ていて心躍るものですが、どのような機能がこのイノベーションを支えているのでしょうか？15の機能すべてをご紹介するのは時間が足りませんので、3つの機能を取り上げ、実際の動作をお見せしたいと思います。最初に取り上げたいのはAI-powered searchで、その名の通りの機能です。Showpadで質問を入力すると、関連するファイルやマーケティングコンテンツを表示するだけでなく、Showpad内のすべての情報に基づいて質問への回答も提供します。回答はテキストで直接表示され、ソースも提示されるので、回答の正確性を常に確認することができます。
また、AI生成のアセットサマリー機能も提供しています。これは非常に興味深い機能で、特に営業向けのユースケースに焦点を当てています。ランダムなサマリーテキストを提供するのではなく、FAQとして整理しているので、営業担当者が顧客から質問を受けた際に、すぐにFAQを確認して適切な回答を見つけ、顧客に伝えることができます。
ビデオをご覧ください。営業担当者の立場になって考えてみましょう。例えば「AdminAIとは何ですか？」という質問を入力すると、AIが作動し始め、回答が生成されます。この回答は、Amazon OpenSearchによって提供される検索結果から直接取得され、数秒以内に回答とその情報源が表示されます。また、情報源と回答の関連付けも行われます。
検索結果の1つをクリックすると、実際のファイルを確認できます。ここではFAQサマリーをクリックしているところをお見せします。ご覧の通り非常に高速で、営業担当者が読みやすく、メールにコピー＆ペーストしやすいように構造化されています。準備だけでなく、トレーニングとコーチングも重要です。そのため、AI生成のテスト問題機能も用意しています。これにより、営業マネージャーは営業担当者が次のミーティングに向けて常に準備ができているかを確認するための多肢選択テストを素早く作成できます。
この例では、私たちのソリューションが問題文、正解、そして複数の誤答を含む多肢選択テストを作成する様子をお見せします。こちらがテスト作成のインターフェースです。ファイルを選択して挿入し、ファイルの内容を確認していきます。テストしたい部分のテキストや内容を見つけたら、それを選択します。選択してGenerateをクリックすると、AIが問題文、正解、そして説得力のある誤答をいくつか生成します。テストには意味があり、チャレンジングなものである必要があるからです。最後に、インターフェースに戻ると、人間の判断も加えることができます。回答が気に入らない場合は、人間が編集して変更することも可能です。
これをどのように構築し、まとめたのかと疑問に思われるかもしれません。そこで、PJをステージにお招きして、もう少し詳しく説明してもらいましょう。ありがとうございます。私はPieterjan、略してPJと申します。ShowpadのAI and Search部門のEngineering Managerを務めています。AIをどのように提供し、お客様に価値を届けているか、そしてエンジニアにとって優れた開発体験をどのように提供しているかについてお話しさせていただきます。
ShowpadのAIアーキテクチャ：開発から本番環境まで
大まかに言えば、これは3つの重要な要素に集約できます。1つ目は専門知識です。チームのスキルアップ、経験豊富なパートナーの採用、そして私たちが基盤とする技術です。顧客に価値を提供できるよう、既存の技術を活用したいと考えています。2つ目は、データとデータアクセスという重要な要素です。私たちはData Lakeを構築し、組織全体でデータの所有権を分散化することで、外部のデータアプリケーションだけでなく、内部のデータアプリケーション、Data Mesh、そしてもちろん適切なガバナンスを備えた単一の信頼できるソースを実現しています。
3つ目の要素はアーキテクチャです。私たちのアーキテクチャはCloud Nativeで、多くのコモディティと再利用性を備えています。チームは好きなものを使用できますが、柔軟性も必要です。なぜなら、開発や迅速な実験を行いながら、それを本番環境にも展開する必要があるからです。これから数枚のスライドで、専門知識とアーキテクチャについてもう少し詳しくお話しします。まず、専門知識について、データプロジェクトを実現するためのクリティカルマスの創出です。私たちのチームは、ゼロからマルチチームのデータ組織へと成長する必要がありました。先ほど述べたように、AIプロダクトを全く提供していない状態から、現在では四半期ごとに多くのプロダクトを提供できるようになりました。そのために必要だったのは、採用とチームのスキルアップです。私たちは、AIチームがただモデルをトレーニングして展開するだけのチームになることは望んでいません。
モデルをトレーニングしてテストクラスターにデプロイしたり、プロンプトを作成したりするチームは、機能のエンドツーエンドを担当すべきです。現在、私たちのAIチームは、プロンプトやアプリケーションの作成、モデルのトレーニングだけでなく、インフラも所有しています。Infrastructure as Codeでインフラを作成し、すべてをモニタリングし、デプロイし、すべてのパイプラインをチェックする - すべてを行っています。これにより、どのチームでもAIチームになることができ、より効果的に会社全体でスケールすることが可能になります。
技術ベンダーとの良好な関係は非常に重要です。ここにいるAWSのプロダクトチームやSolutions Architectチームと強力なパートナーシップを築いており、プレビュー段階でのテストを支援してもらい、モデルへのアクセスを確保し、プロンプトが引き続き機能するかを確認できます。これにより、開発を加速し、顧客に価値を提供することができます。パートナーは知識獲得を加速する上で不可欠です。私たちのData Lakeはパートナーと共に構築され、他社の知識を活用しながら、その専門知識を自社に組み込むことで、AIを始めることができました。
開発から本番環境までのアーキテクチャについて、私たちは開発者に優れた体験を提供しながら、確実に本番環境へのデプロイを成功させたいと考えています。開発には迅速な実験とヒューマンフィードバックの収集が必要で、これをPMの手に委ねることで、要件を満たしているかを実験し検証できるようにしています。技術を効果的に評価する必要があります - 今日の前のセッションで、新しいモデルの一般的なライフサイクルは約6ヶ月だと聞きました。そのため、新しい技術や基盤モデルが利用可能になったときに、それらをチェック、テスト、評価し、製品に組み込むことが極めて重要です。
本番環境への移行にあたって、すべてを書き直したり、他のチームに丸投げしたりすることなく進めていきたいと考えています。そのためには、確立されたエンジニアリングの厳密さ、CI/CDパイプライン、人間やユーザーからのフィードバックを収集するシステム、包括的なモニタリング、そしてこれらのコンポーネントすべてをデバッグやトレースできる能力が必要です。 これをサポートするため、私たちはチームが AI アプリケーションを作成する際に使用できる数多くの再利用可能なコンポーネントを構築しました。Foundation Model や Amazon Bedrock モデル、Anthropic Claude モデルと連携するためのコンポーネントを作成し、ユーザーや各チームが適切なモニタリングとタグ付けが既に組み込まれた状態でアプリケーションに組み込めるようにしました。
ベクトルの保存、スコアリング、検索のために Amazon OpenSearch をベクトルストアとして使用しています。これには様々なコンテンツタイプに対する埋め込み機能が必要です。多くのコンポーネントを通じてテキストやオブジェクトを埋め込むことができ、検索ストアやナレッジベースで再利用できるようになっています。プロンプトに関しては、異なるモデルに対するテスト、バリエーションやバージョンの管理、アカウント間での共有を可能にするライフサイクル管理ソリューションを実装しました。コンテキストデータも非常に重要です。Large Language Model や Foundation Model を使用して回答を生成したり、エージェントフローを作成したりする際には、適切にコンテキストを注入する必要があります。私たちは、適切なアクセス制御と認証を備えたコンテキストを AI フローに注入できるコンポーネントを構築し、オーケストレーション機能も備えています。
責任ある AI の実装に強い焦点を当てています。ファクトチェックや事実性の検証、セキュリティやデータプライバシーの対策を支援するコンポーネントを用意しています。すべてのフローには、ユーザーアクセス制御と認証が組み込まれており、システム全体でトレース可能です。コスト管理に関しては、最近リリースされた Amazon Bedrock により、タグ付けを通じて推論のプロファイリングを実行できるようになりました。
これにより、呼び出しにタグを付けて、どこでコストが発生しているかを正確に追跡できます。もちろん、すべての規制にも準拠する必要があります。 では、これらはどのように構成されているのでしょうか？私たちは全てを統合し、階層構造を形成しています。最上位層には、エージェントワークフロー用のカスタムエージェントと Amazon Bedrock エージェントがあります。これらは目的、ツール、ナレッジベースと組み合わさって、タスクを実行し、 ユーザーに価値を提供します。
これらはツールとナレッジベースの上で動作します。ツールには大きく2種類あります。まず、私たちのプラットフォームには、多くの内部APIと外部APIが既に存在しており、これらは簡単にツールとしてラップでき、エージェントが使用できます。これらのAPIツールに加えて、テキストやオブジェクトを異なるものに変換する、生成系AIワークロード特有のAIツールも用意しています。また、ナレッジベースも既存のものを基盤としています。検索データベース、データストア、検索機能などがあり、これらは既にセキュリティとアクセス制御が組み込まれているため、既存のスタックの上にAIを構築することは理にかなっていました。
下のレイヤーでは、AIに使用する3つの主要なパターンを特定したことを示しています。Generative AIの1つ目は、テキスト変換です。これはテキストを入力して別のテキストを出力するという非常にシンプルな概念です。例えば、テスト問題の作成はレシピベースで、すべてのチームが使用できる再利用可能なコンポーネントです。必要な処理のレシピを作成してチェーンを構築すれば、Showpadのエコシステムの一部として簡単にデプロイできます。2つ目の主要なアーキテクチャパターンは、オブジェクト変換です。これは、テキストではなく、コースやアセット、マーケティングファイルなどのオブジェクトを別の形式に変換する場合に使用します。例えば、PowerPointプレゼンテーションからスピーカーノートを作成したり、マーケティングオブジェクトからサマリーを作成したりします。これをContent Fluidityと呼んでおり、使用時に必要な形でコンテンツを表示することができます。最後のパターンは、Retrieval Augmented Generationです。これは、ユーザー入力と検索システムを組み合わせて、回答やタスクの実行を支援するAIワークフローを構築するシステムです。
これらの機能を見ると、以下のように対応付けることができます。テキスト変換については、AI生成のテスト問題、過去のメールを基に下書きメールを素早く改善するSmart Composer、そして名前付けが苦手な人のためのLabel Renameがあります。エンジニアも名前付けが苦手ですが、ドキュメントを検索する上で重要です。オブジェクト変換については、セールス管理システムでコンテンツを見つけやすくするためのAI生成のアセットサマリーと説明文があります。このドキュメントの内容や使用ケースについて、単なる説明だけでなく、他の要素と組み合わせることができます。そして、デモでご覧いただいたAI-Powered Searchもあります。
会場のアーキテクトの方々向けに、いくつかの図を用意しました。かなり簡略化していますが、説明していきましょう。これはエージェントワークフローに使用する典型的なアーキテクチャです。Generative AIタスクが入力されると、まず最初にData ScienceとAIアカウントのAPI Gatewayを通ります。AuthorizerはAWS Lambda関数で、ユーザートークンを交換してエージェントがユーザーに代わって実行できるアクセス制御リストのアクションの範囲を決定します。これを取得したら、どこにでも注入できます。Generative AIの作業では、Amazon Bedrock AgentsやAWS Lambda関数に注入できます。Amazon Bedrock Agents自体も、使用するツールにこれを注入します。ユーザータスクがあった場合、Amazon Bedrock Agentsがそれを開始します。
何かを実行するためにツールを使用する必要があると判断すると、ネイティブシステムがそのアクションを実行し、結果をAmazon Bedrockに返します。これは私たちのAPIの1つである場合もありますし、テキスト変換、オブジェクト変換、検索タスクのいずれかである場合もあります。これらすべてにおいて、私たちは主にAnthropic Claude 3モデルを使用しています。より高速な処理が必要で、出力がそれほど重要でない場合には、Haikuも多用しています。
重要なのは、すべてがチャットボットである必要はないということです。チャットボット機能は1つの小さな機能だけです。他のすべてのエージェントは、実際にはドメインイベントやスケジュールによってトリガーされ、ユーザーが直接呼び出すわけではありません。すべてがバックグラウンドで実行されています。これにより、ユーザーが自分で要求する必要なく、必要なときに必要なものをすべて用意しておくことができます。
そして2つ目、これが最後になりますが、AI-powered searchについて多くお話ししてきましたので、これがどのように機能するのかもお見せしたいと思います。 まず最初に、Generative AIは「ハンマーを持つと全てが釘に見える」という傾向があることを認識しています。しかし、これは従来型のAIと組み合わせることも可能です。私たちのAI検索機能では、最初に小規模なClassifierモデルが、AI-powered searchを使うべきか通常の検索を使うべきかを判断します。質問なのか、そうでないのか、回答可能な質問なのかどうかを判断するのです。そのため、非常に高速な小規模なSageMakerモデルを使用して、この初期分類を行っています。
AIを使用する判断が下された場合、ユーザーのアクセス制御に基づいて、その質問に答えるのに役立つ関連情報を取得します。適切な接続を確保するために、Amazon VPC Latticeを使用して全てのアカウントを接続しています。各チームが独自のアカウントを持っているため、検索を作成するチーム、ファイルやサービスを作成するチームがそれぞれアカウントを持っており、それらを組み合わせる必要があるのです。 例えば、あるチームが異なるサービスを実行するAmazon S3を持っていて、それらのサービスが私たちのデータストアに接続されています。これらのサービスはユーザーに代わってコンテキストを要求します。例えば、質問のEmbeddingがある場合、どのドキュメントのどの段落が一致するかを確認する必要があります。Amazon OpenSearch Serviceでスコアリングを行い、いくつかのファイルを取得し、リレーショナルデータベースに保存されている全てのファイルのメタデータをチェックし、その情報を全て取得したら、Amazon S3から実際のファイルを取得して質問に答えるために使用します。
AI実装のベストプラクティスとAWSリソース
最後に、フィルタリングや削減、事実確認などを行った後、 回答を承認してユーザーに送り返し、そしてAnnaにベストプラクティスについて話を戻します。 BJさん、この洞察に満ちたデモンストレーションをありがとうございます。また、ステージを整えていただき、ありがとうございます。セッションの終わりに近づいてきましたので、ShowpadでのAI実装経験や他の成功事例から得られた重要な洞察をまとめたいと思います。これらのベストプラクティスは、皆様自身のAIイニシアチブの道しるべとなるでしょう。
AIの導入を始める際は、顧客が直面している実際の問題を解決するためにAIを活用してください。 このアプローチにより、単なる技術のショーケース化ではなく、実際のニーズに応える具体的な価値を提供するAI実装が可能になります。AIの可能性を探求する際は、揺るぎない倫理基準を維持し、潜在的な影響を慎重に検討してください。 これには、徹底的なテスト、データプライバシーの保護、そしてAIシステムにおける潜在的なバイアスへの警戒が含まれます。 ユーザーが製品とやり取りする方法を根本的に変えることなく、機能を強化するためにAIをシームレスに統合してください。この戦略により、ユーザーは慣れ親しんだ環境で新しい機能を活用できるため、より迅速な導入が可能になります。
AI実装の影響は、顧客だけでなく、チームにも及びます。AIが社内プロセスを効率化し、生産性を向上させ、スタッフの役割をどのように強化できるかを検討してください。
AIを一度きりの実装として捉えるのではなく、長期的なビジネス戦略の要として位置づけることが重要です。この視点には、スケーラビリティの計画、継続的な改善、そして包括的なビジネス目標との整合性が含まれます。
皆様の成功をサポートするため、このスライドでは、Generative AIの取り組みを探索し、拡大するための2つの貴重なリソースをご紹介します。1つ目は、AI Use Case Explorerで、ここでは増え続けるユースケースと実装ガイダンスをご覧いただけます。2つ目は、Generative AI Innovation Centerで、AWSの専門家と協力してこれらのユースケースを実現する機会を提供しています。本セッションにご参加いただき、誠にありがとうございました。re:Inventで有意義で楽しい一週間をお過ごしいただけることを願っています。ご清聴ありがとうございました。それでは、カンファレンスの残りの日程もお楽しみください。
※ こちらの記事は Amazon Bedrock を利用することで全て自動で作成しています。
※ 生成AI記事によるインターネット汚染の懸念を踏まえ、本記事ではセッション動画を情報量をほぼ変化させずに文字と画像に変換することで、できるだけオリジナルコンテンツそのものの価値を維持しつつ、多言語でのAccessibilityやGooglabilityを高められればと考えています。
Discussion