re:Invent 2024: AWSのTelecomチームが語るGenerative AIの活用
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！
📖 AWS re:Invent 2024 - Breaking barriers: Harnessing generative AI in telecom (TLC207)
この動画では、AWSのTelecomチームによる「Breaking Barriers：TelecomにおけるGenerative AIの活用」について解説しています。デジタルインクルージョンを実現するための取り組みとして、AT&T、NVIDIA、Anthropicとのパートナーシップによるハッカソンの成果を紹介し、優勝作品のLearnAIアプリケーションの詳細な解説を行っています。LearnAIは、個人の学習スタイルに合わせてコンテンツを最適化し、動的にゲームを生成する機能を持ちます。また、Amazon Bedrock、Amazon DataZone、LLM Gatewayなどを組み合わせたGenerative AIアプリケーションの構築方法についても、実際のデモを交えながら具体的に説明しています。通信事業者が持つネットワークメタデータの活用など、Telecom分野ならではの特徴的な活用方法にも言及しています。
※ 動画から自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますので、正確な情報は動画本編をご覧ください。
※ 画像をクリックすると、動画中の該当シーンに遷移します。
re:Invent 2024関連の書き起こし記事については、こちらのSpreadsheet に情報をまとめています。合わせてご確認ください！
本編
AWS re:Inventでの「Breaking Barriers」プログラムの紹介
AWS re:Inventラスベガス最終日の4日目へようこそ。皆様の帰りのフライトの前の最後のセッションとなりますが、AWSのTelecomチーム一同を代表して、この1週間そして今朝もご参加いただき、ありがとうございます。本日は「Breaking Barriers：TelecomにおけるGenerative AIの活用」についてお話しさせていただきます。まずは簡単な自己紹介からさせていただきます。私はSenior Developer AdvocateのRobert Belsonです。素晴らしい同僚たちもご紹介させていただきます。私はTelco Prototypingチームで Software Development EngineerをしているAndrew Youngです。私はKaniz Mahdiで、最近AWSにDirector of Technology for Telecomとして加わりました。
私たちには、5大陸のTelecomオペレーター、お客様、パートナーの皆様と協力し、通信事業者の変革、消費者体験の再創造、産業のデジタル化に関する課題に取り組むという特別な機会が与えられています。今週初めに、General ManagerのShivas Nambiarから、お客様がGenerative AI、Network API、そして5G全般の変革的な可能性を活用して、開発者の生産性向上、ネットワーク運用の効率化、カスタマーエクスペリエンスの改善など、生活のあらゆる側面を変革している様子についてお話があったかと思います。
なぜAWSなのか、さらに言えば、なぜAWS for Telecomなのかとお考えかもしれません。AWSの観点からご説明させていただきます。ご存知の方もいらっしゃると思いますが、私たちのLeadership Principlesは日々の行動を導き、私たちの核となる理念の中心です。あまり耳にしないLeadership Principlesの一つに「成功と規模は広い責任をもたらす」というものがあります。これは地域社会や地球、そしてKanizが先ほど話したように、未来の世代に対する責任です。それはデジタルインクルーシブな技術とプログラムから始まります。AWS AI/ML Scholarship ProgramやSwami氏が発表したばかりの、デジタルインクルーシブな学習アプリケーションの未来のために1億ドルの技術リソースを投じるAWS Digital Equity Initiativeを見ていただければ分かります。
AWS for Telecomの観点からすると、Telecomは、作られつつあるインクルーシブな技術へのアクセスにおいて、コミュニティをつなぐ中心的な役割を担っています。私たちには、デジタルインクルーシブな技術の未来を形作る役割を担う機会があるだけでなく、その義務があると感じています。このBreaking Barriersプログラムが生まれた経緯について説明し、ハッカソンの優勝プロジェクトをケーススタディとして、皆様自身のデジタルインクルーシブなアプリケーション、さらにはTelecomやその他の分野におけるGenerative AIアプリケーションの実装について考えるヒントをご紹介します。
AWS for Telecomのミッションとデジタルインクルージョンへの取り組み
それでは、ビジョンとミッションについてもう少し詳しくお話しいただくため、Kanizを再びステージにお呼びしたいと思います。Kaniz、これは一朝一夕に生まれたものではありませんね。AWS for Telecomのミッションは、電話と電話、人と電話、人とモノをつなぐだけの企業から、私たちの日常生活の基盤を支える世界クラスの機関へと、通信事業者のお客様を進化させることです。これは夢物語や大胆な目標に思えるかもしれませんが、インターネットの発明から、大衆にコンピューティングをもたらしたモバイルブロードバンド、インターネットをグローバル化したハイパースケールの台頭、そして最後に未接続の人々をつなぐ衛星まで、何十年もかけて実現してきたものです。この技術は、特権的なユーザーだけでなく、私たち全員にコンテンツを届けることを可能にします。しかし、これまで多くの進歩を遂げてきたにもかかわらず、まだ障壁が残っています。技術の採用における障壁、技術の利用における障壁、そして技術のインクルーシブな使用における障壁です。そこでBreaking Barriersが誕生したのです。
会場にいらっしゃるDaphnaさんに感謝申し上げます。そして私のチームにも感謝します。Daphnaさんは私たちに課題を投げかけてくれました。支援を申し出てくださり、より広い社会的課題を共に解決することを提案してくださいました。それは、誰もがテクノロジー資産を活用し、採用し、収益化できるようにすることです。パキスタン出身の私にとって、自分は全ての便利な設備にアクセスでき、テクノロジーを効果的に活用できる一方で、遠く離れた村に住む親戚たちが、同じテクノロジーにアクセスできるにもかかわらず、文化的、社会的、経済的な障壁に直面していることは心が痛みます。
そこでDaphnaさんは、テクノロジー企業だけでなく、社会的組織や政策立案組織など、複数のセクターを結集してこれらの障壁を徐々に取り除いていくグローバルプログラムの立ち上げを提案しました。最初のステップは、通信、コンピューティング、クラウドといった異なるテクノロジーセクターを結びつけることです。AIは、テクノロジーとその利用の間にあるギャップを埋めます。私たちはこのコンセプトを実験することを決め、チームを結成しました。
先ほどご覧いただいた動画は、私たちのリトマステストとなったハッカソンの様子です。NVIDIA、Anthropic、AT&Tとパートナーシップを組み、ローンチイベントはAT&Tの象徴的なInnovation Centerで開催されました。RobbieとAndrewがこのイベントの立役者で、そのため私たち3人がここステージに立っているわけです。それでは、ハッカソンの考え方と障壁を取り除くプロセスについて、Robbieに説明してもらいましょう。
Breaking Barriersハッカソンの成果：LearnAIアプリケーションの誕生
デジタルインクルージョンのハッカソンをどのように実施するか計画していた時、成功の基準として考えていたのは、Dallasで50から60人ほどが集まり、1つのプルーフオブコンセプトのような解決策を構築し、後で商業化の戦術を検討することでした。しかし、わずか72時間で30以上のプロジェクトが開発され、成果物がオープンソース化され公開されたことに驚きました。500件の登録があり、この初回イベントの物理的なスペースの制限により、お断りしなければならない方も出てしまいました。
Amazonに入社して間もない私にとって最も驚いたのは、私たちのツールキットの使いやすさでした。会場にいた34チームの中には、Amazon Cloud Consoleを初めて使用する人も多くいました。ハッカソンは金曜日から週末にかけて開催され、月曜日に評価が行われました。参加者たちはアカウントを作成し、週末の間に素晴らしい進展を見せました。最大の驚きはAT&Tでした。彼らのChief Data Officeが学生や専門家と一緒にハッキングを行っていたのです。彼らのチームの1つは週末の間に非常に魅力的なプロダクトを作り上げ、Microsoftを主に使用している企業であるにもかかわらず、Amazonのアカウントを作成したのです。
AT&Tのチームはヘルスケアの課題を解決するために集まりました。彼らはわずか3日でヘルスケアアプリを作り上げ、月曜日にプレゼンテーションを行いました。私はテクノロジーの評価に関してとても厳しい目を持っているのですが、それを見たとき、「いつ市場に出せるの？」と思ったほどでした。それほどまでのクオリティの製品を、わずか48時間、いや3日ほどで開発したのです。そして参加者は企業だけでなく、学生たちも含まれていました。
イベントに学生を含めることは、少し躊躇いながら下した決断でした。プログラムにリスクを持ち込むことになりましたが、私たちは外部からの創造性を取り入れるだけでなく、私たちを未来へと導く人材を育成する架け橋を築くためのコミュニティを作りたいと考えていました。学生たちを招き入れたことは、このHackathonで最も良い決断となりました。なぜなら、最も創造的なアプリケーションは学生たちから生まれ、優勝作品も学生のアプリだったからです。
学生たちはユーザーの視点をもたらしてくれました。お客様第一、常にお客様の視点から考えること、そしてそのお客様の視点からの発想こそが、学生たちが私たちにもたらしてくれたものでした。彼らはメディア、エンターテインメント、あるいはヘルスケアに特化したアプリケーションを持ち込みました。しかし、会場にいた人々の心を本当に掴んだのは、教育学習アプリでした。このアプリはユーザーの好みやニーズを感知し、自己適応して、あなたに最も適した学習モードを提示します。これが、ここでご紹介するLearnAIアプリです。
Generative AIを活用したアプリケーション構築の基盤
RobbieさんがLearnAIの具体的な内容について説明し、その後Andrewが詳細を説明します。LearnAIはすでにオープンソース化されており、コードはGitHubで公開されています。次のステップは、これらの取り組みを通じて構築している小さな成果物やアーティファクトをどのようにスケールアップするかということです。AndrewがRobbieと一緒に、これらのGenerative AIアプリケーションのスケールアップについて何を行っているのかを説明します。そこに本当の価値があるはずです。では、Robbie、お願いします。
はい、次のスライドに進みましょう。より具体的な内容に入っていきます。優勝アプリケーションについて説明させていただきます。後ほどオンラインでご覧になる方々に、優勝アプリを作成したT MohammedさんとManvirさんに感謝の意を表したいと思います。お二人が直接参加してくださって嬉しく思います。学習スタイルには、Visual Learner、Auditory Learner、Kinesthetic Learnerなど、様々なタイプがあります。現在、大学の教科書を学ぶ際には、通常一つの方法しかありません。オンラインプラットフォームは、情報の保持能力や学習の成功に大きな影響を与える、個々の学習スタイルに対応できていないのが現状です。
LearnAIチームは、学習方法に関するプロンプトを提供することで、あなたの学習スタイルに合わせた学習方法を提案できると考えました。一般的な学習ツールを使ったことがある方なら、記憶力や理解力を高めるための楽しいゲームがあることをご存知かもしれませんが、それらは学習スタイルに基づいているわけではありません。そこで彼らは、学習を支援するゲームを動的に生成するシステムを作りました。実際のアプリケーションをお見せしましょう。ここではNexusチームを代表してご説明させていただきます。これがLearnAIアプリケーションです。ご覧のように、このアプリケーションには3つの重要な要素があります。1つ目は、フォームとユーザープロファイルを通じた個人レベルのカスタマイズで、これによってあなたの学習ニーズを理解します。2つ目は、ドキュメントをアップロードする機能です。そして3つ目は、あなたの学習ニーズに合わせてカスタマイズされたテキストベースのチャットです。
LearnAIチームがこのハッカソンで大きな成果を上げた本当の秘訣は、さらに一歩踏み込んだところにあります。このアプリケーションは単にドキュメントを取り込んで要約を生成して終わりというわけではありません。これから数秒後にお見せしますが、動的なゲームも生成します。右上に表示されるこのテキストは、あなたの学習スタイルに完全に合わせたドキュメントの要約です。もしあなたの学習スタイルが説明重視型であれば、より詳しい説明が生成されます。さらに、アップロードした教科書の内容に基づいて、ブラウザ上で動的にゲームを生成し表示して、知識と理解度をテストすることができます。
説明重視のアプローチでは、必要に応じてより詳細な説明を生成し、適切な場合にはシンプルな説明を提供します。ゲーム内のすべての質問は生成AIによって作成されます。さらに、聴覚に障害がある場合の音声入出力など、特定の学習ニーズに対応し、そのドキュメントの内容をインタラクティブかつパーソナライズされた方法で深く学び、理解できるようにカスタマイズされた体験を提供します。
これは教科書に限ったことではありません。先ほど述べたように、これはデジタルインクルージョンアプリケーションのケーススタディです。なぜなら、理解したいドキュメントは通信関連のものかもしれません。3GPPのリリース、OAの仕様書、HTTP3に関するIETFのRequest for Comments、あるいは偶然見つけたGitHubリポジトリかもしれません。どのようなドキュメントであっても、LearnAIはそれを取り込んで理解の手助けをすることができます。LearnAIが提供する価値の説得力を示す逸話として、優勝アプリケーションを紹介するTwitchストリーム開発者プログラムを行ったところ、20万人が参加し、審査員の一人であるAT&TのData Science and AI部門のVPは、新しいFoundation Modelが登場する度に、自身の組織でLearnAIを活用したいと明言しました。例えば、先日発表されたAmazon Novaモデルについて、各Foundation Modelの違いを理解するためにLearnAIを使用することができます。
これは根本的に普遍的なアプリケーションだと私たちは考えています。そのため、その構築の基礎となる技術についてさらにお話ししたいと思います。生成AIは、デジタルインクルーシブなアプリケーションや一般的なアプリケーションを構築する上での転換点であると私たちは確信しています。その理由をご説明させていただきます。アプリケーション構築のための3層構造の生成AIスタックを見てみると、先日月曜日に公開されたAndy Jassyの興味深いインタビューがありました。AWSの最も初期の起源について語る中で、2003年秋当時、彼のチームのミッションは、ガレージや寮の一室にいる個人が、世界最大の企業が持つのと同じコスト構造とインフラのスケールにアクセスできるようにすることだったと述べています。彼はデジタルインクルーシブなメッセージを完全に理解していたのです。
ご覧のように、スタック全体の各レイヤーにおいて、カスタムシリコン技術による費用対効果の高いインフラストラクチャから、オンデマンドで利用可能なトレーニングと推論、そして最も簡単に生成AIアプリケーションを構築・スケールできるAmazon Bedrock、さらにはAmazon Qなど、優れた例をご用意しています。Foundation Modelをゼロから学習させたり、Principal Data Scientistである必要はありません。Junior Data Scientistが生成AI技術の全範囲にアクセスでき、Junior Engineerが Principal Full-stack Engineerとしての全てのツールを持てるようになることで、私たちはついに選択肢の提供、幅広く深い機能、そしてEnterprise対応という顧客要件を実現することができました。
では、全体像を把握したところで、LearnAIについてもう少し詳しく見ていきましょう。これらのアプリケーションを構築する際に、利用可能な要素の中から、どの要素を使用すべきでしょうか。まずはコンピュートとAIの基盤から始めましょう。 Amazon Bedrockのユーザーインターフェースを見てみましょう。まず目に付くのは、完全なローコードでの柔軟性と選択肢です。 このチャットプレイグラウンドでは、質問をしたり、わずか数クリックでFoundation Modelを修正したり、システムパラメータやガードレールを調整したり、推論パラメータを変更したりできます。これらはすべてコンソールを通じて実現され、AWSアカウントを持つ誰もが利用できます。
この選択肢と柔軟性は素晴らしいスタートですが、多数の異なるAPIを持つマイクロサービスベースのアプリケーションを大規模に構築しようとすると、様々なFoundation Modelに直面します。Amazon Bedrockのモデル、Amazon SageMaker Jumpstartのモデル、さらにはAWS環境外のサードパーティモデルなど、それらを統合したいと考えるかもしれません。従来のAPI環境では、API Gatewayパターンが、大規模なAPIの発見可能性、アクセス、ガバナンスを管理する人気の方法として確立されています。そこで、お客様から生成AIにもAPI Gatewayパターンを適用できないかという要望があり、私たちは断固としてイエスと答えました。
これはモデルだけの話ではなく、データも重要です。 ここには3つの重要なコンポーネントがあり、様々な方法でその重要性を実証していきます。Amazon API Gateway、Amazon Bedrock、その他のコアサービスを通じた生成AI Gatewayについて説明します。データ基盤として、Amazon DataZoneを一例として使用します。そして、アプリケーション自体があります。これら3つの要素が組み合わさることで、LearnAIが誕生し、初回のBreaking Bearsハッカソンで生まれた他の34のプロジェクトのほとんどが実現し、これがデジタルインクルーシブなテクノロジーの未来の構成要素になると私たちは考えています。
LearnAIアプリケーションの詳細と構築プロセス
では、生成AI Gatewayについてさらに詳しく見ていきましょう。一層ずつ深く掘り下げていきます。まず理論について説明し、その後Andrewが AWS ConsoleとCLIを使用したエンドツーエンドのデモを行います。生成AI Gatewayには3つの要素があります。 中央のボックスにあるAPI Gatewayは最も分かりやすい部分で、リクエストが入ってくるAPIインターフェースです。アクセス可能なFoundation Modelを管理するIdentityレイヤーがあり、これはコンテンツや責任あるAIポリシーのモデレーションも行います。さらに、Foundation Modelエンドポイントレジストリとして考えられるModel Abstraction Layerなども必要です。
先ほど触れたように、モデルはBedrock、SageMaker Jumpstartなど、様々な場所に存在する可能性があります。そのため、これらのモデルが実際にどこにあるのかを把握する方法が必要です。Amazon Bedrockへの呼び出しなのか、それとも他のAPIエンドポイントの完全修飾ドメイン名なのか。これらのメタデータを全て保存する方法が必要です。API Gatewayと各Foundation Modelはありますが、まだ1つ足りないものがあります。それは、Bedrockのチャットプレイグラウンドのようなプレイグラウンド・インターフェースです。開発者やユーザーが簡単にこれらのAPIを発見してアクセスできる方法、認証のフィードバック機制、利用可能なモデルを示すモデルカードが必要です。さらに、厳しいレイテンシーやパフォーマンス要件がある特定のユースケース向けの専用ホスティング、クォータによるレート制限なども必要かもしれません。これらの機能は全て、Generative AI Gatewayにとって不可欠なものです。
あらゆるデータに対してあらゆるモデルを有効にするという考えのもと、技術的な観点からそれがどのように見えるかをご説明します。ここには4つの重要な要素があり、便利にボックス化されています。まず注目していただきたいのは、Amazon Cognitoによる認証です。これにより、Amazon Cognitoを使用するか、Microsoft Active Directoryなどのサードパーティを使用して認証を行うことができ、既存のユーザー、アプリケーション、ロールをGenerative AI Gatewayと統合できます。また、AWS Lambdaによって動作するAPI Gatewayパターンというコアコンポーネントがあり、これがゲートウェイの機能とコンピューティングを可能にする重要な部分です。すべてのリクエストはこのAPI Gatewayを通過し、Lambdaを使用して認証を行い、モデルに関するデータを取得し、最終的にクエリを実行します。
データは2つのデータソースから来ています。1つ目のデータソースは、ユーザーやアプリケーションが誰で、何ができるかに関するものです。これはガバナンスの部分で、どのモデルにアクセスできるか、それらのモデルで何ができるか、クォータに達しているか、不審な動作をしているか、最適に動作しているかを理解するためのものです。2つ目は、利用可能なモデル、コスト、レイテンシー、特定のユースケースに適したモデルの選択に関する情報を含むモデルデータベースです。これにより、ガバナンス、コスト管理、ログ記録、セキュリティだけでなく、コードの変更を最小限に抑えて、あるいはまったく必要とせずにモデルを簡単に切り替えることができます。そしてこれをA/Bテストに活用することができます。結果として、モデルと連携するこのGenerative AIパターンが実現します - これはAmazon Bedrock、Amazon SageMakerだけでなく、オンプレミスやAWSクラウド外に存在するサードパーティのモデルも含みます。
これにより、モデルの切り替えを通じて最高のパフォーマンスを引き出すために必要な機能を備えた、どこにあるモデルでも利用できる強力なGenerative AIアプリケーション構築パターンが実現します。
では、データについて話しましょう。Generative AI Gatewayを構築する際、 Retrieval Augmented Generation（RAG）アプリケーションの導入により、社内データでプロンプトを補強する必要性が生じることを認識しています。このデータがAWS上にない可能性があることも理解しています - オンプレミスや、サードパーティのSaaSプラットフォームなど、様々な場所に存在する可能性があります。では、これらのデータプロデューサーとデータコンシューマーをどのように接続すればよいのでしょうか？組織はデータに関して複数の課題に直面しており、データへのアクセス確保は確かに困難な課題の1つです。しかし、そのデータを選択した分析ツールに接続することはさらに困難な課題であり、データを安全に共有することはさらに困難な課題となっています。
これらの問題が重なり合って、統合されたデータプラットフォームの必要性が明確になりました。これこそが、Amazon DataZoneが提供するセルフサービス分析の背景にある動機です。Amazon DataZoneをまだご覧になっていない方は、ぜひご覧いただくことをお勧めします。この後すぐにデモをご覧いただきますが、Amazon DataZoneは、組織の境界を越えて、大規模なデータの共有、発見、アクセス、ガバナンスを容易にするサービスです。主要なコンポーネントには、組織内の異なるビジネスユニット間でデータを共有したい場合の組織的な境界となるドメインが含まれます。これは、Generative AI Gatewayで消費される必要があるデータを扱うGenerative AIアプリケーションにとって非常に重要です。また、セルフサービス分析プロセスを標準化できる環境とプロジェクトも用意されています。
では、実際のデータがどのように見えるのか示してみましょう。ここで中央に私たちのDataZoneドメインがあります - あらゆるデータをどこでも利用可能にするために構築しようとしているTelco Data Foundationです。これは、異なるプロデューサーとコンシューマーの間でデータを共有できるウェブのようなものです。これらのデータソースは、LearnAIが使用する業界の例を示すことになります。これは、どのような学習コンテンツを消費する必要があるかを示す過去のデータになります。データは4つの異なるソースから得られます：ウェブまたはモバイルアプリの使用履歴、フォームを通じたユーザープロファイルデータ、ネットワークメタデータ、デバイス情報です。
ここで、通信事業者が根本的な優位性を持っていると考えているのが、このネットワークメタデータです。これは、ユーザーの帯域幅について多くのことを教えてくれます。デバイスの性能について教えてくれ、IoTデバイス、モバイルデバイス、デスクトップコンピュータなど、どのデバイスにどのようなコンテンツを合わせるべきかを知ることができます。これらのデータソースはすべて統合され、Telco Data Foundationを通じて共通のアクセスレイヤーを持っています。ユーザーデータチームというプロデューサーチームと、アプリ開発者がいます。次のデモでは、ここで話してきたことすべてを使用して、LearnAIウェブアプリケーションをゼロから構築していきます。
この業界の例では、これらすべての異なるソースからのデータを所有するユーザーデータチームがあり、そのデータへのアクセスを提供します。開発者は、このデータを検索し、何が存在するかを理解し、アクセスを要求し、データプロデューサーから許可を得る必要があります。では、実際のデモを見てみましょう。つまり、15分で、コンピュートの基盤、DataZoneを使用したデータ基盤、Generative AI Gateway、すべてをほぼゼロから構築するということですね。その通りです。Cloud Development Kitを使って実現しましょう。
セッション中か、帰りの飛行機の中で、このQRコードをスキャンすれば、皆さんも同じように試すことができます。先に進みますが、このQRコードはセッションの最後にもう一度表示されますので、そこで改めてご確認いただけます。
これから何を構築するのかをお見せしましょう。私たちは3つの異なるコンポーネントについて話していました。まず、Generative AIアプリケーション、そしてAmazon S3の静的ウェブサイトとしてAmazon CloudFrontのコンテンツ配信ネットワークを通じてホストされるフロントエンドがあります。次に、Generative AIゲートウェイ（LLMゲートウェイとも呼ばれます）があります。LLMゲートウェイについて触れる際は、これがGenerative AIゲートウェイの具体的な実装であることを覚えておいてください。ここではAPI GatewayとAmazon BedrockやAmazon SageMakerを通じたすべてのモデルアクセスがありますが、これにより他のサードパーティへのアクセスも可能になることを忘れないでください。
データ基盤については、Cloud Development Kit（CDK）を使用してプロデューサーアカウントとコンシューマーアカウントを持つAmazon DataZoneドメインをデプロイします。ユーザーデータをアップロードし、S3内に存在するそのデータをAmazon Athenaを使用してクエリします。このユーザーデータがLearnAIアプリケーションの学習とパーソナライゼーションを支えることになります。先ほどQRコードをスキャンした方は、データ基盤とフロントエンドを含むAIフロントエンドをご覧になれるはずです。もう一つ覚えておいていただきたいのは、LLMゲートウェイという2つ目のリポジトリがあるということです。
このデモでは既にデプロイ済みですが、これは既存のユーザーロールにリンクされます。AWS Samplesの中に2つ目のリポジトリがあり、これを使ってアプリケーション用のゲートウェイをセットアップすることができます。LLMゲートウェイがどのようなものか見てみましょう。Amazon Bedrockなどのプロバイダーがあり、Amazon Bedrockを通じて様々なモデルにアクセスできます。私のユーザーAJUNY は、いくつかのClaude 3モデルとAmazon Titanにアクセスできます。プレイグラウンドで「LLMゲートウェイは何をするのか？」という質問をすると、レスポンスがストリーミングされて返ってきます。入力メトリクス、出力メトリクス、結合メトリクス、レイテンシーなどの統計情報も提供されます。これにより、言語モデルが何をしているのか、どれくらいの時間がかかっているのか、どれくらいパフォーマンスが出ているのか、そして何を使うべきかについての洞察を提供するプラットフォーム、つまりゲートウェイが得られます。
アプリケーションでこれを使用するには、APIキーを作成する必要があります。分かりやすい名前を付けましょう - "breaking_barriers_reinvent"です。APIキーを生成し、コピーして保存し、環境変数に設定します。このキーは私のユーザーアカウントAJUNYにリンクされているので、私のユーザーが持つすべての権限を持っています。これがアプリケーション用である場合、アプリケーションのすべての権限を持つことになります。これはこのアカウントに対して認証を行う方法の一つです。
そして、APIキーを管理することができます。先ほど作成したキーが表示され、セッションが終了するまで期限切れにならないよう、適切な有効期限を設定しました。これで、ユーザーのモデルアクセスを管理できます。LearnAIアプリケーションは良質なパーソナライズされた体験を提供することに依存しており、通信環境でそれを実現する一つの方法がモデルのファインチューニングです。これは、SK Telecomを含む通信分野の多くの顧客と取り組んできたことで、韓国語でトレーニングされたモデルをファインチューニングしています。モデルアクセスを管理したい場合、このように行うことができます - ユーザーのモデルアクセスを作成し、そのユーザーのクォータを設定します。
デモンストレーションとBreaking Barriersプログラムの展望
これがGatewayの真価が発揮される場面です。パーソナライズされた学習体験を提供するために必要なモデルの切り替えを実現しています。 このセッションで私は約5ドルを使用しましたが、まだ995ドル残っているので、このデモの残りの部分には十分でしょう。 では、DataZoneの部分に移りましょう。これは先ほどお話ししたTCAデータ基盤です。これをCloud Development Kitでデプロイしました。Cloud Development Kitをデプロイすると、AWSコンソール、CLIアクセス（コマンドラインアクセス）、 またはAPIを使用できます。おそらく、ほとんどの方にとって最も便利な操作方法でしょう。アプリを構築する際の最初のステップとして、
まずはどのようなデータソースが存在するかを確認する必要があります。 私はアプリ開発者の立場なので、ドメインを開いて、ユーザーの学習をサポートできそうなデータソースを探してみましょう。 都合よく、デプロイしたデータセットは1つだけなので、それをクリックして購読してみましょう。これにより、プロデューサーがアクセスを許可した場合、私の役割でそのデータにアクセスできるようになります。コンシューマープロジェクトのアクセスをリクエストしましょう。これは私たちのLearn AIアプリケーションで、Learn AIアプリケーションがこのデータセットを使用するための許可をリクエストします。
これは通常、お客様が承認を得るのに数週間から数ヶ月かかることもありますが、このプロセスを大幅に効率化しています。 自動承認も設定してあるので、ページを更新すると、すでに購読が承認されているのが確認できます。 では、アプリのバックエンドとして使用するAmazon Athenaを開いてみましょう。データソースが表示され、 これが購読アクセスをリクエストした後で私たちの役割がアクセスできるようになったものです。アプリケーションはこれらのSQLクエリを Amazon Athenaを通じて直接S3データセットに対して実行できます。下にスクロールすると、アップロードしたユーザーデータが表示され、これが私たちの学習体験を支えることになります。
ビデオコンテンツ、テキストコンテンツ、画像コンテンツなど、どのようなタイプのコンテンツを消費しているかという情報が含まれており、これによってパーソナライズされた学習体験を提供できます。 プロデューサー側の体験がどのようなものか見てみましょう。この場合、私たちはユーザーデータとTelcoデータを管理するユーザーデータチームのプロデューサーとして、 データを公開しています。購読者の管理方法を見てみましょう。先ほど行った自動承認プロセスを使用するか、 購読リクエストを確認することができます。Learn AIアプリケーションの承認された使用状況を確認でき、購読を取り消したい場合は、手動で コンソールから行うことができます。
これでLLMレイヤー、データGatewayレイヤーが揃いましたので、アプリを構築しましょう。これがS3とCloudFrontを通じてデプロイしたアプリケーションの画面です。まずビデオを再生し、次にユーザー名とパスワードを入力して、Learn AIアプリケーションで行ったようにPDFを添付します。ここでは Generative AIサービスの選び方に関するAWSホワイトペーパーを使用しています。このトークに最適なものですね。これは一般に公開されているホワイトペーパーで、 Amazon Bedrock、Amazon SageMaker、Amazon Qなど、Amazonが提供する様々なAIサービスの中から選択する際の参考になり、これらの異なるサービスが何をするのかについての情報が記載されています。
それでは学んでいきましょう。環境変数を通じて、先ほど作成したAPI keyを取得していることがわかります。また、LLM Gatewayを通じて異なるモデルにアクセスできることも確認できます。これらは先ほどユーザーにアクセスを許可した4つのモデルです。それぞれのモデルで、アプリケーションの動作が少し異なります。まずはClaude 3 Sonnetから始めましょう。そして、ここにユーザーも表示されています。各ユーザーには少し異なる学習スタイルが設定されています。これは先ほどデータセットで確認した5人のユーザーです。Amazon Athenaを使ってデータを取得し、5人のユーザーを特定し、その学習データを取得できるようになっています。この学習データによって、好みの学習スタイルを選択することができます。Danielの場合は技術的な説明を提供することになりますが、ユーザーをAndrewに切り替えると、例を示す形式になります。説明を求めると、Amazon AthenaへのSQLクエリから取得したAndrewに関連するデータを確認できます。Claudeにヘルプを求めると、なぜAndrewにこの学習スタイルを選んだのか、その理由を示してくれます。この場合、Claudeは簡単な英語テキストで71回、技術的なテキストで25回のやり取りがあったことを数え上げ、その説明がここに表示されています。このように、パーソナライゼーションを提供するだけでなく、そのパーソナライゼーションの過程も確認できるようになっています。
それでは、アプリに戻ってパーソナライズされた学習体験をお見せしましょう。ドキュメントとユーザーのパーソナライゼーションがあり、左側でドキュメントに関する質問ができます。まずは、このドキュメントが何についてのものか、1〜2文で説明してもらいましょう。
ドキュメントをコンテキストとして使用し、私の学習スタイルに合わせて回答を提供してくれます。また、先ほどのLearn AIアプリケーションの機能も再現できます。下にスクロールすると、章の概念をまとめたファイルのサマリーが表示されます。ここで一時停止すると、各概念に例を示すことで私の学習スタイルに合わせていることがわかります。例えば、機械学習モデル、Foundation Model、または特殊なインフラストラクチャを構築・デプロイする場合は、Amazon SageMakerを使用すべきだと説明しています。
私の学習スタイルに合わせて、ここに表示されている章のサマリーが生成されています。左側で質問する内容についても同様です。ここでは、LLM Gateway、Data Foundation、そしてLearn AIアプリケーションを通じて学んだすべての概念をまとめています。質問すると、カスタマイズされた回答を得ることができます。デモの最後の質問です：Amazon BedrockとAmazon SageMakerはそれぞれどのような場合に使用すべきでしょうか？Claudeは優れた性能を持っているので、ファイルを読んで詳細な回答を提供してくれます。
ドキュメントに基づいて、Amazon Bedrockについて説明があり、Fine-tuning機能や特定のツールなど、具体的な例を挙げて私の学習スタイルに合わせています。Amazon SageMakerについても同様です。以上がデモになります。これらすべては10〜15分程度でデプロイできますが、私の言葉を信じる必要はありません。帰りの飛行機で、Wi-Fiが使える方は、これをデプロイして自分で試してみてください。Cloud Development Kitを使用してインフラストラクチャをコードとして設定してください。
デモが終わりましたので、最後の締めくくりをKanizに戻したいと思います。48時間で開発されたアプリケーションを見ていただき、それを15分で再現できることを確認しました。これこそが、私たちがグローバルに展開したい魔法です。社会経済的な障壁、物理的・生物学的な障壁、技術的な障壁を取り除き、すべての人にとって社会経済的に公平な未来を創造することが重要です。次のステップはData Foundationに焦点を当てており、特にTelco Data Foundationで行う作業に非常に期待しています。複数のプロデューサーとコンシューマーが集まり、私たち全員にとって公平な場所を作り出すデータとモデルのウェブを想像してみてください。
私たちは、究極のお客様であり、パートナーでもあるCSP通信事業者の皆様とともに、グローバルな規模で障壁を打ち破っていきます。人類の課題解決に情熱を持っている方、デジタルインクルージョンを実現する技術の創造に情熱を持っている方、あるいはグローバルな規模で展開したいものを構築することに情熱を持っている方は、ぜひ私たちにご相談ください。こちらにバーコードがありますので、私たちにコンタクトを取っていただくか、オンラインで見つけたアセットを使って実験してみてください。一緒に話し合い、協力して進めていきましょう。ありがとうございました。
※ こちらの記事は Amazon Bedrock を利用することで全て自動で作成しています。
※ 生成AI記事によるインターネット汚染の懸念を踏まえ、本記事ではセッション動画を情報量をほぼ変化させずに文字と画像に変換することで、できるだけオリジナルコンテンツそのものの価値を維持しつつ、多言語でのAccessibilityやGooglabilityを高められればと考えています。
Discussion