re:Invent 2024 - CEO Keynote with Matt Garman (前半)
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！
📖 AWS re:Invent 2024 - CEO Keynote with Matt Garman
この動画では、AWS CEOのMatt Garmanが基調講演で、AWSの主要なイノベーションを紹介しています。Trainiumなどのカスタムチップ開発から、S3 Table BucketsやS3 Metadataといったストレージの革新、Amazon Aurora DSQLと呼ばれる画期的なデータベースサービスまで、最新の取り組みが解説されています。また、途中ではAmazon CEOのAndy Jassyが登場し、RufusというAIショッピングアシスタントやAlexaの進化など、Amazonでの生成AI活用事例を紹介するとともに、新しいAIモデル群Amazon Novaを発表しました。さらに、Amazon Q DeveloperによるWindows .NETアプリケーションのLinux移行支援や、Amazon SageMaker Unified Studioによるデータ分析とAIの統合プラットフォームなど、AppleやJPMorgan Chaseの事例も交えながら、AWSが目指す次世代クラウドの方向性を示しています。
※ 動画から自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますので、正確な情報は動画本編をご覧ください。
※ 画像をクリックすると、動画中の該当シーンに遷移します。
re:Invent 2024関連の書き起こし記事については、こちらのSpreadsheet に情報をまとめています。合わせてご確認ください！
本編
AWS re:Inventへようこそ：Matt Garmanのオープニングスピーチ
AWS CEOのMatt Garmanをお迎えしましょう。 皆様、第13回AWS re:Inventへようこそ。皆様にお会いできて大変嬉しく思います。私にとってCEOとしての初めてのイベントですが、re:Inventは初めてではありません。実は2012年から全てのre:Inventに参加する機会に恵まれてきました。
このイベントも13年目を迎え、多くのことが変化してきました。しかし、re:Inventを特別なものにしている本質は変わっていません。それは、情熱的で活気あふれるAWSコミュニティが集まり、お互いから学び合うということです。今朝から会場を歩いていても、皆様の熱気を肌で感じることができます。この1週間を通じて、ぜひお互いから学び合う機会を最大限に活用していただきたいと思います。今年は会場に約6万人の方々にお越しいただき、さらにオンラインでは40万人の方々にご視聴いただいています。会場でご参加の皆様、オンラインでご視聴の皆様、ありがとうございます。
皆様のために1,900のセッションをご用意し、約3,500名のスピーカーの方々にご登壇いただきます。これらのセッションやスピーカーの多くは、本日会場にいらっしゃるお客様やパートナー、そしてAWSのエキスパートの方々によるものです。心より感謝申し上げます。皆様のコンテンツと専門知識の共有こそが、re:Inventを特別なものにしているのです。 re:Inventは、技術者、経営者、パートナー、学生など、あらゆる方々のためのコンテンツを提供しています。 しかし、その核心は、ビルダー、特に開発者のための学びの場なのです。
実際、私がこの役職に就いて最初に行ったことの一つは、AWS Heroesの皆様と時間を過ごすことでした。こちらにいらっしゃるHeroesの皆様に、ぜひ注目してください。もう声が聞こえてきていますね。 Heroesの皆様は、最も献身的で情熱的なAWS開発者の方々です。本当にありがとうございます。AWSの開発者コミュニティの成長は本当に素晴らしいものです。現在、世界120カ国に600のユーザーグループがあり、AWS全体のコミュニティは 世界中で数百万人に達しています。このコミュニティの素晴らしい点の一つは、皆様からのフィードバックが直接製品に反映され、本日発表する内容にも活かされているということです。 本当にありがとうございます。
スタートアップ企業とAWSの関係：10億ドルのクレジット提供へ
2006年に私がAWSに参画した当時、ビジネスを立ち上げた際の最初のお客様はスタートアップ企業でした。スタートアップ企業は新しい技術を積極的に活用しようとする姿勢があるため、私の心の中で特別な存在となっています。
スタートアップ企業は積極的に参加し、素晴らしいフィードバックを提供し、私たちに革新を促し、私たちの基盤の上で革新を重ね、非常に速いスピードで進化していきます。私たちはスタートアップから多くを学んでいます。今、生成AIの時代を迎え、スタートアップにとってこれほど刺激的な時期はありません。生成AIはあらゆる業界に破壊的な変革をもたらす可能性を秘めており、革新的な企業を見てみると、その変革はスタートアップからもたらされています。スタートアップにとって、業界に変革をもたらすことを真剣に考える絶好の機会といえるでしょう。
実際、私たちはスタートアップを強力に支援しており、嬉しいことに、2025年にはAWSは世界中のスタートアップに10億ドル分のクレジットを提供することを発表できます。これは皆様の成功への投資の一環です。最初の顧客はスタートアップでしたが、大企業もすぐにその価値に気づきました。大企業はクラウドに大きな価値があることをすぐに理解したのです。現在では、世界中のあらゆる業界、あらゆる分野、あらゆる規模の大企業、そしてあらゆる政府機関がAWS上で運用されています。何百万もの顧客が、想像しうるあらゆるユースケースを展開しています。
金融サービス業界におけるAWSの進化と「お客様起点」のアプローチ
しかし、最初からこうだったわけではありません。初期の頃の話を一つご紹介したいと思います。ニューヨークの銀行を訪問した時のことです。彼らはこのクラウドコンピューティングというものに非常に興味を持っていました。私たちが彼らと話し合った時、彼らは大変好奇心旺盛でした。クラウドコンピューティングが彼らのITやテクノロジーの運用をどのように変えうるのか、私たちのビジョンを説明しました。すると彼らは、本番環境のワークロードがクラウドで実行されることはまずないだろうと言いました。彼らは非常に慎重で、コンプライアンス、監査、規制、セキュリティ、暗号化など、たくさんの理由を挙げました。魅力的な技術ではあるものの、クラウドでの運用は難しいだろうというわけです。
私たちは簡単に諦めて次の顧客に移ることもできましたが、そうはしませんでした。金融サービスのお客様には感謝しています。なぜなら、クラウド内で大規模な規制対象のお客様をサポートするために何が必要かを理解する手助けとなったからです。AWSは、すべてのお客様をサポートしたいと考え、その後の10年近くをかけて、それらのリストに挙げられた項目を一つひとつ解決していきました。現在では、そうした大手金融機関の多くが私たちの顧客となっていることを誇りに思います。
イノベーションを起こす際に重要なのは、お客様を起点にすることです。お客様にとって何が重要かを尋ねますが、ただお客様の要望通りに提供するだけではありません。お客様に代わって新しいものを生み出す必要があります。これがAmazonの「お客様を起点にして逆算する」アプローチです。お客様の声に耳を傾け、何を望んでいるかを理解し、そこから逆算して素晴らしい製品を作り上げていくのです。このお客様重視と逆算の考え方は、私たちAWSのDNAの一部であり、最初からビジネスにこのようにアプローチしてきました。
AWSの誕生とビルディングブロックの概念
実は、私たちが作成した最初のAWSビジョン文書は2003年に書かれました。当時、多くのテクノロジー企業が、あらゆることを一手に引き受けようとする統合ソリューションを構築していました。結果として、すべてを「それなりに」こなす大規模な一枚岩のソリューションが生まれました。「それなり」で満足するべきではないという気づきがありました。最高のコンポーネントを目指すべきなのです。それぞれの分野で最高のものを組み合わせることができれば素晴らしいと考えました。
そのアイデアからAWSが誕生し、私たちはもう一つの発見をしました。どんなアプリケーションでも、個々のコンポーネントに分解できるということです。これらの基本的なサービスに分解でき、私たちはこれらを「ビルディングブロック」と呼んでいます。このアイデアは、特定の一つのことを世界最高レベルで実行するサービスがあり、それらを新しくユニークな方法で簡単に組み合わせることができれば、人々は本当に興味深いものを作り出すことができ、テクノロジーを活用し企業を構築するためのより良いモデルになるというものでした。
このビルディングブロックの考え方は、過去18年間にわたるAWSサービスの構築の基本となっており、現在では何百ものAWSサービスを皆さんがそれぞれユニークで面白く、信じられないような方法で組み合わせています。今日は、これらのビルディングブロックを活用し、クールで興味深い方法で組み合わせることで、それぞれの分野での問題解決方法を再定義しているスタートアップの創業者たちの話を聞くことができればと思います。最初の創業者の話を聞いてみましょう。タンパク質は、私たちの社会が直面している最も重要な課題の一部を解決する可能性を秘めています。多くの重要な薬がタンパク質なのです。
Evolutionary Scaleのタンパク質設計革命：AWSの活用事例
Evolutionary Scaleは、ライフサイエンス向けのAIを開発しています。私たちは、世界中の科学者がタンパク質の理解と設計に使用しているESMモデルファミリーを開発しました。会社を設立してすぐに、最初のコンピューティングをAWS上で行い、HyperPodの初期ユーザーとなりました。これにより、ESM3の開発に不可欠な反復的な開発が可能になりました。ESM3は、タンパク質の配列構造と機能について推論を行うモデルです。20億以上のタンパク質配列に対して1兆テラフロップスの計算処理で学習を行いました。この学習を通じて、タンパク質の生物学について非常に深い理解を得ることができ、科学者はモデルにプロンプトを与えて新しいタンパク質を作り出すことができるようになりました。
つまり、マイクロチップや建物のように、タンパク質を工学的に設計できるということです。ESM3は、Evolutionary Scaleが開発している最先端のツールと、AWSがもたらすセキュリティとオーケストレーションを組み合わせることで、生物学をプログラム可能にする一歩となります。製薬業界でスケールできるソリューションを実現できるのです。これらのモデルを継続的にスケールアップしていくことで、生物学についてより深い理解が得られ、自然界と生命を新しい方法で理解することができるようになります。
AWSのセキュリティへの取り組み：基盤としてのセキュリティ
お客様がAWSを選ぶ理由は数多くありますが、スタートアップから大企業、政府機関まで、ほぼすべての方が非常に重視している要素が一つあります。それはセキュリティです。AWSを立ち上げた当初から、私たちはセキュリティを最優先事項にしなければならないことを理解していました。皆様が私たちにデータを託し、ビジネスを構築されることは、私たちが真摯に受け止めるべき責任でした。私たちにとって、セキュリティはビジネスを構築する上での基盤でなければならないことは明確でした。
私たちは、セキュリティが企業文化の一部であることを理解していました。後付けで追加できるものではありません。まずサービスをローンチしてから、セキュリティを追加するというわけにはいきません。最初から組み込む必要があるのです。私たちにとって、セキュリティはあらゆる活動において重要です。データセンターの設計、シリコンの設計、仮想化スタックの設計、サービスアーキテクチャ、そして最も重要なのは、すべてのソフトウェア開発プラクティスにおいて、設計フェーズから実装フェーズ、デプロイメントフェーズ、パッチ適用に至るまで、セキュリティを最優先に考える必要があります。
AWSにとって、すべてはセキュリティを最重要視することから始まります。多くのお客様がクラウドワークロードをAWSに託している理由の一つが、このセキュリティなのです。これは他のすべてのサービスが上に構築される基盤層なのです。そういった基盤要素の一つとして、まずはコンピュートについてお話ししましょう。現在、AWSは他のどのプロバイダーよりもはるかに多くのコンピュートインスタンスを提供しています。そしてそれはすべてAmazon EC2から始まりました。ご存知の方もいらっしゃるかもしれませんが、私は実際に長年EC2チームを率いていました。現在の役職では、技術的に好き嫌いを言うべきではないのかもしれませんが、私は本当にEC2が大好きです。
Amazon EC2の進化：多様性と革新性
嬉しいことに、多くのお客様もEC2を気に入ってくださっています。なぜでしょうか？それはEC2が、より多くのオプション、より多くのインスタンス、より多くの機能を提供し、アプリケーションやワークロードに最適なパフォーマンスを見つけるのに役立つからです。実際、現在では126の異なるファミリーにわたって850の異なるインスタンスタイプまで成長しました。つまり、必要なワークロードに最適なインスタンスタイプを常に見つけることができるということです。大規模なデータベースや分析ワークロードを実行している場合、クラウド上で利用可能な最大のストレージインスタンスを提供しています。インメモリ要件を持つアプリケーションがある場合、レイテンシーに敏感なニーズに対応する最大のメモリ容量を持つインスタンスを提供しています。
HPCクラスターや大規模なAI/MLクラスターを実行していて、それらのノードを接続するために非常に高速なネットワークが必要な場合はどうでしょうか。AWSは、すべてのHPCインスタンスやMLインスタンスを接続する、群を抜いて最速で最もスケーラブルなネットワークを提供しています。また、常に最新のテクノロジーを利用できるよう努めており、IntelやAMD、NVIDIAの最新の進歩を取り入れたインスタンスを常に提供しています。AWSは、Mac対応インスタンスを提供する最初で唯一のクラウドです。多くのお客様から「どうやってそのレベルのイノベーションを維持できているのですか？」という質問をよく受けます。
AWSがこれほど多くのことを実現できる理由の1つが、Nitroです。NitroはAWSの仮想化システムです。私たちは、ネットワーク、ストレージ、コンピューティングのすべての仮想化処理を別個のNitroカードシステムにオフロードするカスタムチップを設計しました。これにより、ベアメタル並みのパフォーマンス、比類のないセキュリティ、そしてクラウド業界で他に類を見ないレベルの分離性能をお客様に提供することができています。
Nitroの興味深い利点の1つは、非常に高い柔軟性を実現できることです。仮想化をすべてNitroシステムに分離することで、独立して革新を進めることができます。新しいインスタンスタイプを導入するたびに仮想化スタック全体を作り直す必要はなく、優れた新しいサーバーを開発し、仮想化スタックを独立して開発して、それらを組み合わせるだけでよいのです。これにより、私たちはより迅速に進化することができます。NitroはAWSのコンピューティングにおけるイノベーションのスピードを本当の意味で解き放った重要な要素の1つなのです。
AWS Nitroシステムとカスタムシリコン開発：Gravitonの誕生
Nitroのもう1つの興味深い点は、カスタムシリコンの開発について多くを学べたことです。その成功により、私たちはシリコン開発で成功できることを確信しました。そこで、この技術をどこに応用できるか検討しました。2018年、私たちはコンピューティングの新しいトレンドに気づきました。ARMコアが高速化していることが分かったのです。その多くはモバイル向けでしたが、より強力になっていました。私たちは、この技術の進化と、AWSで実行されるワークロードに最も重要な要素についての知見を組み合わせることで、カスタムの汎用プロセッサーを開発できるのではないかと考えました。
当時、これは非常に物議を醸す発想でした。独自のシリコンを開発するなんて狂気の沙汰に思われましたが、私たちはお客様に真に差別化された価値を提供できると確信していました。そこで私たちは開発に着手し、Gravitonを発表しました。現在では、ほぼすべてのAWSのお客様がGravitonを広く利用しています。Gravitonはx86と比べて40%優れた価格性能比を実現し、消費電力を60%削減できます。これは素晴らしい成果で、カーボンフットプリントを削減しながら、より優れた価格性能比を得ることができます。
Gravitonは急速に成長を続けています。これを分かりやすく説明すると、2019年時点でAWS全体の事業規模は350億ドルでしたが、現在のAWSフリートで稼働しているGravitonの規模は、2019年当時の全コンピューティング規模に匹敵します。数ヶ月前、私たちはGraviton4を発表しました。Graviton4は、これまでで最も強力なGravitonチップです。このより強力なチップにより、データベースのようなスケールアップワークロードを含む、より幅広いワークロードに対応できるようになりました。Graviton4はコアあたり30%高いコンピューティング性能を提供し、さらにGraviton3と比べてvCPU数とメモリ容量が3倍になったため、より大きなインスタンスサイズを提供できるようになりました。
Graviton は顧客のビジネスに大きな影響を与えています。 Pinterest の例を見てみましょう。Pinterest は何千もの x86 インスタンスを使ってビジネスを運営していましたが、Graviton への移行を決断しました。移行後、 Graviton の低価格化だけでなく、各インスタンスでより優れたパフォーマンスを実現できました。インスタンスの総数を削減できたことで、コンピューティングコストを47%削減することができました。コンピューティング全体のコストを47%も削減できる方法は、そう多くはありません。Pinterest はエネルギー効率を非常に重視しており、炭素排出量を62%削減することができました。
Gravitonの成功とP6インスタンスの発表：GPUワークロードの未来
Pinterest だけではありません。EC2 のトップ1000社のお客様の90%が Graviton の利用を開始しています。多くのお客様がこのイノベーションの恩恵を受けているのを見るのは素晴らしいことです。しかし、時は止まることがありません。私が AWS で経験してきた中で変わらないことの一つは、ワークロードが常に進化し続けているということです。そのため、お客様は新しいワークロードに対するより良いソリューションの開発を私たちに求めています。現在、最も大きなコンピューティングの課題は、AI、特に生成 AI に関するものです。
現在、生成 AI のワークロードの大部分は NVIDIA の GPU 上で実行されており、AWS は世界中で GPU ワークロードを実行するのに最適な場所となっています。その理由の一つは、AWS と NVIDIA が14年間にわたって協力し、GPU ワークロードの運用と実行において本当に優れた環境を確保してきたからです。
昨年、私たちは G6 インスタンスをリリースしました。G6 は P5 NS であり、すべて NVIDIA Tensor Core GPU を搭載しています。実際、AWS は最高で最もスケーラブルなネットワークを持ち、大規模なワークロードを実行するのに最も優れた運用環境を提供しているため、NVIDIA は自社の大規模な生成 AI クラスターを実行する場所として AWS を選択しました。そして本日、私たちはこのパートナーシップをさらに強化することをお伝えします。
本日、P6 インスタンスファミリーの発表ができることを嬉しく思います。P6 インスタンスは NVIDIA の新しい Blackwell チップを搭載し、来年初めに提供開始予定です。P6 インスタンスは、現行世代の GPU と比べて最大2.5倍高速なコンピューティング性能を提供します。これは素晴らしいことです。P6 は幅広い生成 AI アプリケーションで非常に人気を集めると予想しており、来年初めの発表時に皆様が何を構築し始めるのか、とても楽しみにしています。
AWS Trainiumの進化：AIチップ開発への挑戦
AWSでは、私たちは決して現状に満足することはありません。Gravitonを開発した際、実際に採用され、お客様に価値を提供できるプロセッサを構築できることがわかりました。そこで私たちは、他に何ができるだろうかと考えました。コンピューティングの世界では、私たちが先ほど話したような新しいトレンドが生まれつつありました。2018年の時点で、アクセラレーターインスタンスやMLディープラーニングが大きなトレンドになることが予想されていました。どれほど大きくなるかまでは分かりませんでしたが、これが重要な分野になることは確信していました。
そこで私たちは、AIチップの開発も検討してみようと考えました。この分野が大きく成長すると考えたからです。これらのチップはより複雑になることは分かっていました。より困難な課題になることは承知していましたが、Gravitonと同様に、差別化された価値を提供できる分野だと考えました。そこで、私たちはこの分野に挑戦することを決意しました。
最初に発表したチップは2019年のAWS Inferentiaで、これは素晴らしい第一歩となり、小規模な推論ワークロードのコストを大幅に削減することができました。特にAlexaは最初の主要なInferentiaワークロードの一つで、Inferentiaに移行することで大幅なコスト削減を実現できました。その後2022年には、初めてのトレーニングチップであるTrainium1を発表しました。TrainiumはBanco、IBM、Ricoなどの大手企業や、Ninja TechやArcee.aiのようなスタートアップなど、素晴らしい初期採用企業を得ることができました。
最初のトレーニングチップが完璧ではないことは分かっていました。また、すべてのワークロードに適しているわけではないことも承知していました。Trainium1で動作可能なワークロードであれば、お客様は約50%のコスト削減を実現できると考えており、実際に多くの初期採用企業がそれを達成しました。ただし、まだ初期段階であり、ソフトウェアも発展途上で、すべてのワークロードに完璧に対応できるわけではありませんでした。しかし、お客様からの十分な関心とコスト削減効果を確認できたことで、私たちは正しい方向に進んでいるという確信を得ることができました。
Trainium2の一般提供開始：AIトレーニングの新時代
そして昨年のre:Inventで、私たちはTrainium2の開発を発表し、本日、Trainium2搭載のTrn2インスタンスの一般提供開始を発表できることを嬉しく思います。このTrainium2インスタンスは、AWSが社内で完全に開発したカスタムプロセッサを搭載した、生成AIに最適化された最もパワフルなインスタンスです。Trainium2は、現行のGPU搭載インスタンスと比較して30〜40%優れたコストパフォーマンスを実現します。30〜40%も優れているのです。これは他では得られない性能です。
Trainium2 インスタンスには16個の Trainium2 チップが搭載されており、これらはすべて Neural Link と呼ばれる高帯域・低レイテンシーの相互接続で結ばれています。1つの Trainium2 インスタンスで、単一のコンピュートノードから20.8ペタフロップスを実現します。これらは最先端の生成系AIのトレーニングと推論の demanding なワークロード向けに特別に設計されています。Trainium2 インスタンスは、トレーニングと推論に素晴らしい性能を発揮するでしょう。ネーミングは必ずしも完璧とは限りませんが、Trainium2 の追加により、お客様が取り組むワークロードに最適なインスタンスを検討する際の選択肢が大幅に広がりました。EC2は断然、最も多くの選択肢を提供しています。
私たちは実際に、開発の方向性が正しいことを確認するため、数社の早期採用顧客と共に Trainium2 のベータテストを実施し、非常に印象的な初期結果を得ることができました。Adobe は Firefly 推論モデルで Trainium2 を使用した初期テストで非常に有望な結果を得ており、大幅なコスト削減が期待できるとのことです。次世代のソフトウェア開発プラットフォームを構築しているスタートアップの Poolside は、今後の大規模なフロンティアモデルのトレーニングをすべて Trainium2 で実施する予定で、他の選択肢と比べて40%のコスト削減を見込んでいます。世界有数のデータ・AI企業の一つである Databricks も、早期採用企業の一つです。
Databricks は Trainium2 を活用することで、共通のお客様により良い結果を提供し、TCOを最大30%削減することを計画しています。Qualcomm は、クラウドでトレーニングしてエッジにデプロイできるAIシステムを提供するために、Trainium2 の活用を楽しみにしています。私たちは Trainium2 の初期結果に大変期待しており、皆様にも実際に試していただけることを心待ちにしています。
EC2 Trainium2 UltraServersのアナウンス
ご存知の方も多いと思いますが、現在のモデルの中には数千億、時には数兆のパラメータを持つ非常に大規模なものがあります。そうしたモデルは単一のサーバーに収まりきらないことが多いのです。そこで、EC2 Trainium2 UltraServers の発表ができることを嬉しく思います。UltraServers は4つの Trainium2 インスタンスを接続し、64個の Trainium2 チップすべてが高速・低レイテンシーの NeuralLink 接続で相互接続されています。これにより、単一の Ultra ノードで83ペタフロップス以上の計算能力を実現します。
これはレイテンシーに大きな影響を与えます。これらの非常に大規模なモデルを単一のノードにすべて読み込むことができ、複数のノードに分割することなく、お客様により優れたレイテンシーとパフォーマンスを提供できます。これはトレーニングクラスターに大きな影響を与えます。これらの非常に大規模なクラスターにより、お客様向けにさらに大規模なトレーニングクラスターを構築することができます。次世代のフロンティアモデルを共に構築しているお客様の一つが Anthropic です。AWS は Anthropic と共同で、Project Rainier と呼ばれるプロジェクトを進めています。Project Rainier では、数十万個の Trainium2 チップを含む Trainium2 UltraServers のクラスターを構築する予定です。
このクラスターは、実際のところ、Anthropicが現在世界で提供しているClaude モデル群のトレーニングに使用した現行クラスターのエクサフロップス数の5倍の規模になります。Anthropicチームがこの規模のクラスターで何を生み出すのか、私は非常に楽しみにしています。世界で最も革新的な企業の一部が、最先端のAI開発にTrainium2を積極的に活用している様子を見るのは素晴らしいことです。
AppleのAWS活用事例：クラウドでのAI開発
世界で最も大きく革新的な企業の一つがAppleです。AppleとAWSが長期的なパートナーシップを通じて、顧客向けの独自機能を構築するためのトレーニングと推論を加速させる取り組みについて、AppleのMachine LearningとAIのSenior DirectorであるBenoit Dupinからお話しいただきます。ありがとうございます、Matt。皆様、おはようございます。本日は一顧客としてここに戻ってこられて嬉しく思います。私はAmazonで製品検索のリーダーを務めた素晴らしい経験を持っています。10年前にAppleに入社し、現在は当社のmachine learning、AI、そして検索インフラを統括しています。
これには、モデルトレーニング、foundation modelの推論、そしてSiri、検索などで使用される他のサービスのためのプラットフォームが含まれます。Appleでは、ユーザーの生活を豊かにする体験の提供に重点を置いています。これを可能にしているのは、ハードウェア、ソフトウェア、そしてサービスが一体となって、ユーザーに独自の体験を創出していることです。これらの体験の多くは私たちが製造するデバイスの一部として提供されますが、iCloud Music、Apple TV News、App Store、Siri など、クラウドで実行されるものもあります。
Appleのビジネスの特徴的な要素の一つは、私たちが事業を展開する規模と、イノベーションのスピードです。AWSはそのペースについていくことができ、私たちは10年以上にわたってお客様であり続けています。AWSは私たちの動的なニーズをグローバルに、そして規模を問わずに一貫してサポートしてきました。machine learningとAIへの取り組みを拡大するにつれて、AWSの利用も同様に拡大してきました。AWSとの協力関係を私たちは高く評価しています。強固な関係を築いており、インフラストラクチャは信頼性が高く、パフォーマンスに優れ、世界中の顧客にサービスを提供できます。私たちが依存しているサービスは非常に多く、この小さな画面にはすべてを表示することさえできません。例えば、検索の推論をグローバルに展開する必要があった際には、10以上のリージョンでAWSサービスを活用して実現しました。
最近では、approximate nearest neighbor searchや私たちのkey value streaming storeなどのmachine learningサービスに、GravitonとInferentiaを使用したAWSソリューションを利用し始めています。AWSインスタンスをx86からGravitonに移行することで40%以上の効率化を実現し、検索のテキスト機能の一部をG4インスタンスからInferentia 2に移行することで、2倍の効率性を達成することができました。
今年は機械学習とAIにおいて、私たちにとって最も野心的な年の一つとなりました。Apple Intelligenceを構築し、ローンチしたからです。Apple Intelligenceはパーソナルインテリジェンスです - iPhone、iPad、そしてMac全体に統合された素晴らしい機能群で、ユーザーを理解し、仕事やコミュニケーション、自己表現をサポートします。Apple Intelligenceは、私たち独自のラージ言語モデル、拡散モデルによって動作し、デバイス上やサーバー上で適応します。この機能には、システム全体の文章作成ツール、通知のサマリー、Siriの改善、そして私の個人的なお気に入りであるGenmojisなどが含まれます。そしてこれらはすべて、各ステップでユーザーのプライバシーを保護する方法で実行されています。
Apple Intelligenceを開発するために、トレーニングのためのインフラをさらにスケールアップする必要がありました。このイノベーションをサポートするために、最高性能のアクセラレータを大量に利用する必要があり、ここでもAWSは私たちがスケールアップする際に寄り添ってくれました。私たちはAIとMLのライフサイクルのほぼすべてのフェーズでAWSサービスを活用しています。AWSを活用している主要な領域には、モデルのファインチューニング、デバイスに適合させるためのモデル蒸留を行うポストトレーニング最適化、そしてAppleデバイスとサーバーにデプロイする準備が整ったApple Intelligenceアダプターの構築と完成が含まれます。
Apple Intelligenceの機能と特徴を拡張し続けるにあたり、私たちは引き続きスケーラブルで効率的、そして高性能なアクセラレータテクノロジーを提供するAWSに依存していきます。Mattが言及したように、Trainium2が今まさにGA（一般提供）になったところです。私たちはTrainium2の評価を始めたばかりですが、初期の数値から事前学習の効率性が最大50%向上すると期待しています。AWSとの協力により、密接に連携し、最新のテクノロジーを活用することで、クラウドでの効率性を高めることができました。AWSの専門知識、ガイダンス、そしてサービスは、私たちのスケールと成長をサポートし、最も重要なことには、ユーザーに素晴らしい体験を提供する上で不可欠でした。ありがとうございました。
Trainium3 の発表：AIチップの次世代へ
Benoitさん、ありがとうございました。長年のパートナーシップに感謝しており、私たち全員が活用できる、それらの非常に有用な機能の提供を楽しみにしています。Trainium2を使って何を生み出すのか、とても楽しみです。今日のTrainium2のGA発表は非常に興奮する出来事ですが、ジェネレーティブAIの分野は驚異的なスピードで進化しており、私たちも歩みを止めるつもりはありません。私たちは長期的なTrainiumのビジョンの実現に取り組んでいます。皆様が私たちに求めるジェネレーティブAIの進化するニーズと、インスタンス全体に対応し続ける必要があることを認識しています。
本日、次なる飛躍を発表できることを嬉しく思います - 来年後半に登場予定のTrainium3を発表します。Trainium3は、AWSが3ナノメートルプロセスで製造する初のチップとなり、Trainium2と比べて2倍のコンピュート性能を提供します。また、効率性も40%向上し、これも素晴らしい進歩です。これにより、皆様はより大規模で、より高速な、そしてよりエキサイティングなジェネレーティブAIアプリケーションを構築できるようになります - より多くのインスタンス、より多くの機能、そしてさらなる可能性が広がります。
インスタンスと機能が増え続ける中、私たちのコンピューティング製品群には、AWS Nitro SystemやAWS Gravitonプロセッサー、Trainiumといったシリコンイノベーションが含まれています。また、ネットワークが障害とならないよう、高性能なネットワーキングも提供しています。その結果として、なんと1日平均で1億3,000万もの新しいAmazon EC2インスタンスが起動されているのです。これは本当に驚くべき数字ですね。私たちは日々、クラウドにおけるコンピューティングの意味を再定義し続けていますが、アプリケーションはコンピューティングだけでは動きません。
Amazon S3の進化：クラウドストレージの革命
次の基本要素であるストレージについてお話ししましょう。 すべてのアプリケーションには処理能力を提供するコンピューティングが必要ですが、同時にデータを保存するためのストレージも必要不可欠です。AWSが登場する前のストレージ環境を覚えている方もいらっしゃるかもしれません。ストレージボックスが並ぶ部屋があり、一つのボックスが一杯になると次のボックスが必要になり、さらにその次も必要になる。 そして最初のボックスに戻ってディスクを交換しなければならない。本当に管理が大変でした。今日のデータ規模では、このような方法での管理は事実上不可能でしょう。
2006年、私たちはより良い方法を思い描きました。シンプルで耐久性が高く、高度な拡張性を持ち、どんなアプリケーションにも対応できる安全なストレージを提供する方法です。 そこで誕生したのがAmazon S3です。2006年に最初にリリースしたサービスで、データ管理の方法を根本から変えました。爆発的な成長に対応できるよう一から設計され、 この18年間で、Amazon S3は現在4,000億以上のオブジェクトを保存しています。これは本当に驚異的な数字です。10年前には、Amazon S3に1ペタバイト以上のストレージを保存していた顧客は100社未満でした。今日では、 1ペタバイト以上を保存している顧客は数千社にのぼり、1エクサバイト以上を保存している顧客も複数存在します。
この規模の拡張性は、今日では当たり前のように考えられています。データ量は爆発的に増加していますが、Amazon S3が拡張性を担保してくれることを前提に考えられる一方で、多くの方がコストについては気にかけています。しかし、私たちはそれも簡単にしています。 ストレージに求められるパフォーマンスとコストのバランスを取るための選択肢を、これほど多く提供している企業は他にありません。 私たちは、この目的のために複数のストレージクラスを用意しています。例えば、定期的にアクセスする大多数のワークロードに適した、高い耐久性を持つAmazon S3 Standardがあります。頻繁にアクセスしないオブジェクトには、コストを抑えられるAmazon S3 Infrequent Accessがあります。さらに、 バックアップやアーカイブなど、めったにアクセスする必要のないオブジェクトについては、コストを最大95%削減できるAmazon S3 Glacierを提供しています。
お客様からは、コストとパフォーマンスのバランスを取るためのこれらの異なるストレージクラスを気に入っていただいていますが、どのクラスを使うべきか判断するのが複雑だという声もありました。そこで、私たちはそれをより簡単にすることにしました。 数年前、Amazon S3 Intelligent-Tieringをリリースしました。このサービスはストレージのアクセスパターンを分析し、自動的にデータを適切な階層に移動します。Amazon S3 Intelligent-Tieringのリリース以来、お客様は追加の作業なしで40億ドル以上のコスト削減を実現しています。
複雑さを完全に排除し、ビジネスの成長だけに集中できることは非常に強力です。ギガバイト、ペタバイト、さらにはエクサバイトのデータを扱う場合でも、Amazon S3がそれを処理してくれます。 このスケール、パフォーマンス、コスト効率、使いやすさ、そして高度な機能という利点により、Amazon S3は世界中で100万以上のデータレークの基盤となっています。データレークは、金融モデリング、リアルタイム広告、AIワークロードなどの大規模な分析ワークロードをサポートしており、Amazon S3は長年にわたってデータレークの革新を続けてきました。分析の高速化のための毎秒トランザクション数の向上、強力な整合性のサポート追加、クラウドでのより迅速なアクセスを実現する低レイテンシーストレージクラスの追加などを実現してきました。
S3 Table Bucketsの発表：データレイクの最適化
お客様に「Amazon S3の何が一番気に入っていますか？」とお聞きすると、よく「Amazon S3はとにかく上手く動くんです」という回答をいただきます。これは私たちにとって大きな褒め言葉ですが、ご存知の通り、AWSは決して現状に満足することはありません。
S3チームは一歩下がって、特に大規模な分析やAIのユースケースをサポートするために、S3をどのように改善できるか検討しました。まず、分析データがどのように整理されているかを理解しましょう。分析データのほとんどは表形式で整理されています。これは、クエリを実行したいデータを扱う上で非常に効率的な方法だからです。 Apache Parquetは、クラウドで表形式のデータを保存する事実上の標準となっており、そのほとんどがS3に保存されています。実際、データレークとの相性が非常に良いため、ParquetはS3全体で最も急速に成長しているデータタイプの1つとなっています。
これらのParquetファイルが大量にある場合（多くのお客様は何百万個、AWSのお客様の中には何十億個ものParquetファイルを持っている場合もあります）、それらに対して横断的なクエリを実行したいといったニーズが出てきます。そのためには、それをサポートするファイル構造が必要です。現在、ほとんどの方がApache Icebergを使用しています。ご存知の方も多いと思いますが、Icebergはオープンソースの高性能なフォーマットで、様々なファイルフォーマットやParquetファイルを横断的に扱うことができます。 これにより、広範なデータレークへのSQLアクセスが可能になり、組織内の異なるメンバーが、SparkやFlinkなど、様々な分析ツールを使用して、お互いのワークロードに干渉することを心配せずにデータを安全に扱うことができます。
Icebergは非常に便利なオープンソースの仕組みですが、多くのオープンソースプロジェクトと同様に、特に大規模な環境での管理が課題となります。パフォーマンス、スケーラビリティ、セキュリティの管理が難しいのです。ほとんどの方が、テーブルのメンテナンス、データの圧縮、アクセス制御、Icebergの実装からより良いパフォーマンスを引き出すことを専門とするチームを雇用しています。そこで私たちは考えました：S3が自動的にこれらを処理できたらどうだろう？ 本日、新しいS3タイプの登場をお知らせできることを大変嬉しく思います：S3 Table Bucketsの発表です。
S3 Metadataの発表：データ検索の革新
S3 Tablesは、Icebergテーブル専用の新しいバケットタイプで、すべてのIcebergテーブルのパフォーマンスとスケーラビリティを向上させます。ParquetファイルをこれらのS3 Table Bucketに保存すると、汎用のS3バケットに保存する場合と比べて、クエリのパフォーマンスが3倍、1秒あたりのトランザクション数が10倍向上します。追加作業なしでこれほどの性能向上が得られるのは、とても画期的です。 S3が自動的にテーブルのメンテナンス作業を処理してくれます。コンパクション、スナップショット管理など、面倒な作業を全て引き受けてくれるのです。不要なファイルを削除してサイズ管理を支援し、 これらの最適化は継続的に行われます。データレイクの規模が拡大しても、クエリのパフォーマンスとコストを常に最適化し続けます。
これは、S3がデータレイクの世界に特化してオブジェクトストレージを完全に再発明し、より優れたパフォーマンス、コスト、スケーラビリティを実現した素晴らしい例です。データレイクのパフォーマンスに革新をもたらすと考えていますが、実はパフォーマンスは全体の一部に過ぎません。 データ量が増えれば増えるほど、必要なデータを見つけることが難しくなることは皆さんご存知でしょう。 ペタバイト規模になると、メタデータが非常に重要になってきます。メタデータとは、S3に保存されているオブジェクトに関する情報を整理し理解するための情報で、ペタバイトやエクサバイト規模のデータの中から必要なものを見つけ出すのに役立ちます。
メタデータの有用性について、私のスマートフォンを例に説明させてください。 私のスマートフォンには大量の写真がありますが、過去のre:Inventで撮影した自分の写真を探したいと思いました。Las Vegasで検索し、2001年で検索したところ、すぐにこの写真が見つかりました。これは私とSmugMugのCEOであるDon MacAskillの写真です。Don は今、最前列に座っています。 実は、Donは2006年にS3の最初の顧客となった方です。では、どうしてこの写真をすぐに見つけることができたのでしょうか？スマートフォンが自動的にメタデータを追加してくれたからです。位置情報や写真が保存された日付が自動的に追加され、簡単に検索できるようになっていたのです。データを簡単に見つけられる方法が必要ですが、
現在のS3では、これは実際にはかなり困難です。まず、ストレージ内のすべてのオブジェクトのリストを作成し、メタデータを追加してS3オブジェクトに関連付ける方法を見つけるためのイベント処理パイプラインを作成・管理する必要があります。 そのメタデータを検索可能なデータベースに保存し、オブジェクトの追加・変更・削除に応じてこれらを同期させるコードを開発しなければなりません。大規模になると、これは差別化につながらない重労働であり、効果的に管理することは事実上不可能です。
しかし、より良い方法が登場しました。Amazon S3 Metadataの発表をうれしく思います。S3 Metadataは、S3データに関する情報を即座に発見できる、最速で最も簡単な方法です。オブジェクトに関連付けられたメタデータを取得し、 ほぼリアルタイムで更新される、簡単に検索可能なメタデータにします。すべてのオブジェクトメタデータを、先ほど説明した新しいテーブルバケットに保存します。オブジェクトメタデータは自動的にApache Icebergテーブルに保存され、お好みの分析ツールを使って簡単にデータの操作や検索ができます。オブジェクトについてより詳しく知ることができ、必要なオブジェクトを素早く見つけることができます。オブジェクトが変更されると、S3は自動的に 数分以内にメタデータを更新するので、常に最新の状態を保つことができます。
お客様はこの機能を気に入っていただけると確信しています。S3のデータの使い方が大きく変わる画期的な機能です。この機能により、分析やAIモデリングなど大規模なユースケースでのデータ活用方法が根本的に変わります。サービス開始以来、私たちはクラウドストレージの可能性を追求し続けてきました。多くのお客様の前例のない規模への成長を支援し、コストの最適化を実現し、比類のないパフォーマンスを提供してきました。そして今、必要なデータを見つけることが驚くほど簡単になりました。しかし、これで終わりではありません。私たちがお約束できるのは、作業の自動化を進め、複雑なプロセスをシンプルにし続け、お客様がイノベーションに集中できるようストレージの革新を続けることです。
AIエージェントの時代：Sierra構築の背景
ではここで、業界を作り変えている新たなスタートアップの話を聞いてみましょう。
1995年、デジタルの世界で存在感を示すにはウェブサイトが必要でした。2015年には、スマートフォンにインストールできるモバイルアプリが必要でした。2025年には、デジタルでの存在感を示すにはAIエージェントが必要になるでしょう。私たちは、ルールベースのソフトウェアの時代から、目標とガードレールに基づくソフトウェアの時代へと移行しています。今は会話型AIの時代であり、デジタルでの存在感とは、お客様と24時間365日いつでも会話できることを意味します。これこそが、私たちがAmazon Web ServicesでSierraを構築した理由です。
従来のソフトウェアはルールに基づいていました。一般的なワークフロー自動化を考えると、お客様が取り得るあらゆる可能性を列挙する必要のある決定木のようなものでした。AIでは異なり、Agent OSを使えば、企業の目標とガードレールをモデル化して、思い描くどんな顧客体験でも構築できます。顧客体験の90%が会話型になるとはどういうことでしょうか。Amazon Web Servicesのようなサービスのおかげで、起業がいかに容易になったかは驚くべきことです。私たちは価値を付加したい部分に集中し、Amazonがクラウドインフラに行った素晴らしい投資の恩恵を受けることができます。今日、成功した実験を行っている企業は、5年後にはAIによるビジネス変革を実現しているでしょう。このような技術に対処する方法は、可能な限り早く実践して学ぶことです。
AWSのデータベース戦略
ありがとうございました。ではここで、もう一つの重要な構成要素であるデータベースに話を移したいと思います。AWSの初期の頃、私たちはデータベースの運用方法を改善できる機会を見出しました。データベースは非常に複雑で、管理に多大なオーバーヘッドがかかっていました。お客様はパッチ適用や管理などの作業に多くの時間を費やしており、私たちはそれらの負担を軽減できると考えました。そこで、この重労働を取り除くために、最初の完全マネージド型リレーショナルデータベースサービスであるAmazon RDSを立ち上げました。今日、お客様に話を聞くと、もう非マネージド型のデータベースサービスには戻れないと言います。マネージドデータベースを気に入っているのです。Amazon RDSを最初にリリースした当時、世界中のアプリケーションの大半はリレーショナルデータベースで動いていましたが、アプリケーションの性質は進化していました。インターネットアプリケーションでは、ユーザー数が増え、世界中に分散するようになり、お客様の要件も大きく変化していました。
お客様はパフォーマンスとレイテンシーに対して、まったく異なる期待を持つようになりました。私たちもAmazon.comの小売サイトでこれを経験しました。2004年、数人のエンジニアが、データベース操作の70%以上が単純なkey-valueトランザクション、つまり主キーを使用した単純なSQLクエリを実行して単一の値を取得するだけのものだということに気付きました。なぜこれにリレーショナルデータベースを使用しているのかと自問しました。重すぎると感じ、当時のチームは、目的に特化したデータベースを構築すれば、より高速で、より安価で、よりスケーラブルにできると考えました。
エンジニアたちの中でも、ここにいる私たちのSwamiとWernerの2人は今週後半にキーノートを行う予定ですが、彼らはDynamoペーパーとして知られる論文を執筆し、NoSQLムーブメントの火付け役となりました。これがDynamoDBの開発にもつながりました。DynamoDB は、サーバーレスで、NoSQLの完全マネージド型データベースで、どんなスケールでもミリ秒単位のレイテンシーを実現し、完全にスケールアップもスケールダウンも可能です。しかしDynamoDBは、私たちが構築した 最初の目的特化型データベースに過ぎません。この成功に気を良くした私たちは、グラフデータベースから時系列データベース、ドキュメントデータベースまで、多くの目的特化型データベースを開発し始めました。その背景には、お客様それぞれの用途に最適なツールを提供したいという考えがありました。
これらのNoSQLデータベースと、幅広い目的特化型データベースは非常に人気を博しました。これまでは実現不可能だったワークロードを可能にし、皆様にご愛用いただいています。しかし、時には最適なデータベースが 依然としてリレーショナルであることもあります。リレーショナルデータベースは決して廃れることなく、今でも多くのアプリケーションにとってベストな選択肢であり続けています。そこで私たちはリレーショナルデータベースの革新も続けてきました。皆様は、商用データベースの信頼性を持ちながら、よりフレンドリーなライセンス条件とオープンソースの移植性を備えたリレーショナルデータベースを求めていました。
実は私たちは re:InventでAuroraのローンチ10周年を祝っています。AuroraはMySQLとPostgreSQLと完全な互換性があり、自己管理型のオープンソースと比べて3〜5倍のパフォーマンスを、商用データベースの10分の1のコストで提供します。Auroraが数十万のお客様を抱える、最も急成長した人気サービスになったのも不思議ではありません。しかし私たちはそこで革新を止めませんでした。これまでAuroraで提供してきた革新の一部をご紹介します。キャパシティ管理から解放される Serverlessを提供し、より良い価格性能比と予測可能な価格を実現するI/O Optimizedを導入し、データベースの完全な水平スケーリングを可能にするLimitless Databaseを実現しました。さらに生成AIのユースケースに対応するため、Aurora内にベクトル機能とAI機能も追加しました。
理想的なデータベースソリューションの追求
チームは、これらすべての革新を振り返り、最高のデータベースユーザーの方々と座って、理想的なデータベースソリューションとは何かを話し合いました。制約を取り払って考えた場合、完璧なデータベースはどのようなものでしょうか。お客様からは「すべてを実現するのは難しいでしょうが、できれば高可用性があり、マルチリージョンで動作し、 読み書き両方で非常に低いレイテンシーを提供し、強い整合性があり、運用の負担がゼロで、SQLセマンティクスを持つデータベースが欲しい」という声が寄せられました。これは本当に多くの「かつ」が含まれています。
多くの人は、すべてを手に入れることはできないと言います。何かを構築しようとするとき、AかBかを選ばなければならない状況に直面することがよくありませんか？AかBかを選ぶ必要があると、それだけで思考が制限されてしまいます。Amazonではそのような考え方はしません。実際、私たちはこれを「orの圧制」と呼んでいます。これは誤った境界線を作り出します。すぐにAかBかを選ばなければならないと考えてしまいますが、私たちはチームにAとBの両方を実現する方法を考えるよう促します。そうすることで、まったく異なる発想が生まれてきます。確かに、これらの機能の一部を提供するデータベースは既に存在します。現在でも、低レイテンシーと高可用性を備えたデータベースを手に入れることはできますが、強い整合性は得られません。また、複数のリージョンにまたがってグローバルで強い整合性と高可用性を提供する他のデータベースもありますが、それらは レイテンシーが非常に高く、SQLとの互換性など望むべくもありません。そこで私たちは「かつ」を実現する課題に挑戦しました。Auroraのエンド・ツー・エンドの環境を私たちがコントロールしているからこそ可能だったのです。
私たちはAuroraの環境を制御しています。これにはエンジン、インフラストラクチャ、インスタンスなど、変更可能なすべての要素が含まれます。最初に取り組んだのは、コアとなるデータベースエンジンの検証でした。グローバルなフットプリントと組み合わせることで、目標とする機能を実現できないか検討を重ねました。実現に向けて最初に取り組むべき大きな課題は、マルチリージョンでの強力な一貫性を維持しながら、低レイテンシーを実現することでした。これは非常に困難な課題でした。
マルチリージョンデータベースの課題と解決策
アプリケーションが複数のリージョンにまたがって書き込みを行う場合、すべてのアプリケーションが最新のデータを確実に読み取れるよう、トランザクションを正しい順序で処理する必要があります。 そのためには、データの整合性を保つために、書き込みの往復処理中にデータをロックする必要があります。現在のデータベースエンジンでもこれは可能ですが、非常に遅くなってしまいます。その理由を説明しましょう。 2つのリージョンにまたがるアクティブ-アクティブのデータベース構成で、平均的な10個のステートメントを含むトランザクションを考えてみましょう。単一のリージョンや場所での従来のデータベースでは、アプリケーションとデータベース間で10回のコミットを行いますが、同じ場所にある場合はレイテンシーが非常に低くなります。
しかし、リージョンをまたいで処理を行う場合は、 実際にコミットするまでに通信が10回往復する必要があるため、非常に遅くなります。この例では、Virginiaと東京でデータベースを実行しており、往復に約158ミリ秒かかります。トランザクションの各部分をコミットするために、データが10回往復する必要があり、結果として1.6秒かかることになります。リージョンを増やすとさらに遅くなり、これは現代のアプリケーションにとっては遅すぎます。
データベースの動作原理から見ると、これは本質的に物理的な問題です。将来のre:Inventまでは光速の問題を解決できませんが、データベースエンジンの動作方法を根本的に変更することはできます。トランザクション処理をストレージレイヤーから分離することで、トランザクションを処理する全く新しい方法を開発しました。 コミット時に各ステートメントをチェックする代わりに、単一のコミットを行い、すべてのリージョンに対する書き込みを同時に並列化することで、強力な一貫性と超高速な書き込みを実現しています。
ただし、 これにより2つ目の大きな問題が発生します。複数のリージョンで独立して書き込みを行う場合、どのようにしてすべてのトランザクションを発生順にコミットすることができるでしょうか？これができないと、データの破損やその他の深刻な問題が発生してしまいます。理論的には、クロックが完全に同期されていれば、このアーキテクチャは完璧に機能するはずです。しかし、世界中に分散したデータベースでは、時刻が少しずつずれていくクロックドリフトの問題に対処する必要があります。
幸いなことに、私たちはコンポーネントレベルまでグローバルインフラストラクチャを制御しています。 EC2に Amazon Time Sync サービスを追加し、世界中のすべての EC2 インスタンスにハードウェアリファレンスクロックを実装しました。これらのハードウェアリファレンスクロックは、衛星に接続された原子時計と同期し、世界中のどのインスタンスとも同期した、マイクロ秒単位の精度を持つ正確な時刻を、すべての EC2 インスタンスに提供します。 Wernerが木曜日の講演でこの詳細について深く掘り下げる予定ですので、ご興味のある方はぜひご参加ください。
Amazon Aurora DSQLの発表：新時代のデータベース
マイクロ秒単位の精度を持つ時刻と、この再設計されたトランザクションエンジンを手に入れたことで、必要な機能を提供し、これまでのトレードオフを回避するためのすべての要素が揃いました。そこで、Amazon Aurora DSQLの発表を大変嬉しく思います。[拍手] これは、Auroraの新時代の幕開けです。
Amazon Aurora DSQLは、事実上無制限のリージョン間スケーラビリティを提供し、インフラストラクチャの管理が一切不要で、ゼロまでスケールダウンできる完全サーバーレス設計となっています。Aurora DSQLは、強い整合性を保ちながら99.999%の可用性を実現します。低レイテンシーの読み取りと書き込みが可能で、さらにAurora DSQLはPostgreSQLと互換性があるため、今すぐ使い始めることができます。
この新しいサービスを、現在利用可能な最も近い製品であるGoogle Spannerと比較してみたいと思いました。マルチリージョン構成で、先ほど見た10ステートメントのトランザクションのコミットをベンチマークしました。その結果、Auroraは Spannerと比べて4倍速い読み取りと書き込みを実現しています。
さらにもう1つ：マルチリージョン、強い整合性、低レイテンシーの機能の恩恵を受けるのはリレーショナルデータベースだけではありません。Amazon DynamoDB global tablesにも、同じマルチリージョン、強い整合性機能を追加することを発表できることを嬉しく思います。 これにより、SQLでもNoSQLでも、アクティブ-アクティブのマルチリージョンデータベースで、強い整合性、低レイテンシー、高可用性というすべての利点を得ることができます。このような基本的な構成要素における核心的なイノベーションこそが、世界最大級の企業がAWSにワークロードを託している理由なのです。
JPMorgan ChaseのAWS活用事例：Lori Beerの講演
そのような企業の1つが、JPMorgan Chaseです。2020年には、JPMC CIO のLori Beerを招いて、AWSへのクラウド移行の開始について語っていただきました。この4年間、JPMCのチームはインフラストラクチャの近代化に向けて広範な取り組みを行ってきました。そこで本日は、Loriを再びお迎えして、彼らのjourney の現状についてお話しいただきます。
おはようございます。JPMorgan Chaseは、225年の歴史を持つ金融機関として、世界中の個人、法人、政府のお客様にサービスを提供しています。私たちの使命は、すべての人々の夢を、いつでも、どこでも実現することです。私たちは非常に大きなスケールでこれを実現しています。米国では8,200万人のお客様に住宅ローン、教育ローン、その他のライフイベントに関する資金を提供し、Fortune 500企業の90%以上と取引を行い、毎日10兆ドルもの決済を処理しています。
このような事業を支えるため、私たちは170億ドルをテクノロジーに投資し、意欲的な近代化計画を推進して成長を実現しています。44,000人のソフトウェアエンジニアが6,000以上のアプリケーションを運用し、市場、顧客、商品、リスク、コンプライアンスなど、ほぼ1エクサバイトものデータを管理しています。4年前にre:Inventで講演させていただいたことを覚えている方もいらっしゃるかもしれません。本日は、その後の進捗についてご報告できることを嬉しく思います。
この4年間で業界は劇的に進化しましたが、私たちのクラウドプログラムの基本理念は変わっていません。私たちは今でも、強固な規制の枠組みを反映した、レジリエントで強固なセキュリティ基盤の確立に重点を置いています。ビジネスとテクノロジーの両面での近代化を優先し、AIやサーバーレスなどの革新的なサービスを活用して新製品開発を促進し、市場投入を加速させています。そして、最も影響力のあるユースケースを優先して、慎重に移行を進めています。
これらの原則によって、私たちはビジネスの成長を支え、推進することができています。現在、米国のeコマース取引の50%以上を処理しています。年間で最も買い物が集中する季節の幕開けとなった今週末の取引量を考えてみてください。私たちのビジネスが世界経済にとってこれほど重要である以上、レジリエンシーはあらゆる面で不可欠なのです。
これこそが、私たちがグローバルな銀行業務と決済インフラの構築方法を刷新し、クラウドで実現可能な領域の限界に挑戦してきた理由です。私たちはAWSとのクラウドジャーニーを数年前から進めてきました。最初のアプリケーションでは、EC2、S3、Amazon EKSなどの主要サービスを活用しました。数年後の2020年には、クラウド上で100のアプリケーションを稼働させるという節目を迎えました。2021年にはその数を倍増させ、ヨーロッパへの展開を進め、AWS上で一から構築したコンシューマーバンクのChaseをイギリスでローンチしました。2022年にはAWS Gravitonチップの使用を開始して性能向上を実現し、2023年にはGPUの活用を始め、預金や決済などのコアサービスを含む約1,000のアプリケーションがAWS上で稼働するようになりました。
JPMorgan ChaseのAI戦略：AWSとの協力関係
現在、私たちは生成AIのユースケースの実現に積極的に取り組み、AWSとAmazon Bedrockのロードマップについて協力しています。クラウド上でのアーキテクチャ設計により、ビジネスプラットフォームの近代化と新規プラットフォームの構築が可能となり、継続的なイノベーションを実現しています。近代化の3つの具体例として、マーケットビジネス、決済ビジネス、そしてChase.comが挙げられます。マーケットと決済における主力プラットフォームでは、大規模な弾力的なコンピューティングと最新のクラウドサービスにより、リスクと市場のボラティリティの分析を支援しています。また、これにより世界最大級の決済プロセッサーとしての地位を確立しています。
2年前、私たちはモバイルエクスペリエンスも支える主力コンシューマーアプリであるChase.comをAWSに移行し、コストを削減し耐障害性を向上させることに成功しました。複数のAWSリージョンにわたるアクティブ-アクティブ-アクティブ構成を採用しています。この強固な耐障害性により、3つのリージョンのうち2つが障害を起こしても顧客への影響を防ぐことができ、地理的に最適化されたルーティングによって全体的な顧客体験も向上しています。AWSとの強力なパートナーシップにより、インフラストラクチャスタックは定期的に自動更新され、リスクと耐障害性の態勢を改善し、セキュリティ管理要件を満たしています。
また、Fusion by J.P.Morganをローンチしました。これは投資ライフサイクル全体にわたるデータ管理プラットフォームと分析を提供し、複数のデータソース間の相互運用性を向上させ、機関投資家のお客様に大規模な基盤データへのアクセスを提供するものです。これは、当社が保有するデータ管理ソリューションの一例に過ぎません。先ほど述べたように、私たちは約1エクサバイトのデータを保有しており、これは最も重要な資産の1つとなっています。特にテクノロジーの近代化と構築においてAIを組み込む機会が増えているためです。AWS Glueなどのデータ管理ツールの支援により、私たちのデータは、セキュアなエンドツーエンドのデータ・AIプラットフォーム上で、発見可能、アクセス可能、相互運用可能、そして再利用可能となっています。
このプラットフォームは、当社における次世代のAIアプリケーション構築を支援しています。Amazon SageMakerは、実験から本番環境へのモデルデプロイまで、モデル開発ライフサイクルの簡素化を支援しています。これは当社全体のAIプラットフォームの基盤であり、データサイエンティストがエコシステムから最高クラスのソリューションを活用できるよう、再現可能で拡張可能なアーキテクチャとして設計されています。毎月5,000人以上の従業員がAmazon SageMakerを使用しており、現在はAmazon Bedrockの検討も開始しており、データサイエンティストが自社のデータで微調整可能なより多くのモデルにシームレスにアクセスできるようにすることを目指しています。
私たちの目標は、生成AIを大規模に活用することであり、規制対象企業内でこれらの革新的な機能を最大限に活用する方法を学び続けています。社内のAIアシスタントであるLLM C-Suiteを約20万人の従業員に展開し、他の生成AIのユースケースからも既に価値を見出しています。銀行員やアドバイザーは、顧客とより良いエンゲージメントを図るためにAIが生成したアイデアを受け取り、旅行代理店のスタッフは大規模言語モデルを活用して、お客様の旅程の作成と予約をサポートしています。
コンタクトセンターの担当者は通話記録を要約し、大規模なインサイトを提供しており、開発者はAIコード生成ツールを使用しています。現在、開発者向けAIエージェントを並行して活用する方法を検討しています。AWSのような企業が市場に投入している技術を考えると、これほど企業の変革をリードするのに刺激的な時期はありません。次なる技術革新の波に期待を寄せており、JPMorgan Chaseが金融サービスの未来を実現する準備が整っていることを誇りに思います。
生成AIの未来：アプリケーションの変革
お越しいただき、ありがとうございます。この4年間で皆様のチームがどれだけ進化したか、そしてモダナイゼーションの取り組みが実際にアジリティの向上という形で成果を上げているのを見るのは素晴らしいことです。これによってJPMorgan Chaseのチームは、生成AIのような新しいテクノロジーを活用する態勢が整いました。私たちは、開発者が思い描くものを何でも創造できるような基盤となるビルディングブロックを目指してきました。また、今日私たちが見てきた多くの事例で、アプリケーションが変化するにつれて、人々の考え方も変わってきたことについても話し合いました。
現在、生成AIによって、アプリケーションに対する人々の期待が実際に変化しています。私の見方では、生成AI推論はすべてのアプリケーションにとって核となるビルディングブロックになっていくでしょう。実際、生成AIはあらゆる業界、あらゆる企業、あらゆるワークフロー、あらゆるユーザー体験を変革する可能性を秘めています。金融サービス業界では、既に生成AIを使って市場操作を検知しています。先ほど話のあったEvolutionary Scaleのような製薬会社では、これまでにない速さで新薬を発見するのに活用しています。
個人的に、私はフットボールを観戦するのが大好きです。Thursday Night Footballでは、プレー開始前にNext Gen Statsの予測で、ブリッツァーがクォーターバックにラッシュをかけるタイミングを見ることができます。このようなユーザー体験の変化を目の当たりにするのは非常に楽しいものです。私たちはまだ始まったばかりです。今日、お客様が話すとき、生成AIアプリケーションについて語られますが、今後はますます推論があらゆるアプリケーションの一部となっていくでしょう。この境界線はなくなっていきます。すべてのアプリケーションが、何らかの形で推論を使用してアプリケーションを強化し、構築し、本質的に変化させていくことになるでしょう。
本当にそれを実現しようとすると、大規模な推論を提供できるプラットフォームが必要になります。データを統合するためのツールが必要で、適切なパフォーマンス、セキュリティ、そしてコストも確保しなければなりません。これこそが、私たちがAmazon Bedrockを構築した理由です。Amazon Bedrockは、生成AIアプリケーションを構築・スケールする上で、断然最も簡単な方法です。Bedrockの特に優れている点の一つは、単なるプルーフオブコンセプトではなく、実際の本番アプリケーションに生成AIを統合するために必要なものをすべて提供できることです。
Amazon Bedrockの進化：生成AIアプリケーションの構築
お客様は、すでにその効果を実感し始めています。例えば、Genentechの事例を見てみましょう。この大手バイオテクノロジー・製薬会社は、科学データとAIを活用して新薬とバイオマーカーの特定・開発を加速させる方法を模索していました。このようなデータを見つけるには、科学者たちは3,500万件もの生物医学ジャーナルを含むPubMedライブラリー、Human Protein Atlasのような公開リポジトリ、そして何億もの細胞データを持つ自社の内部データソースなど、膨大な情報源を詳しく調査する必要がありました。
Amazon Bedrockを使用して、Genentechは科学者がデータに対して詳細な質問ができる生成AIシステムを設計しました。例えば、炎症性腸疾患の特定の細胞で増加している細胞表面受容体は何かといった質問ができます。このシステムは、この膨大なライブラリーから適切な論文やデータを特定します。そして、すべての知見とデータソースを統合し、情報の出所を要約し、科学的な理由とトレーサビリティのために非常に重要な出典を明記します。以前は、このような調査を1回行うだけでも何週間もかかっていましたが、今では数分で完了できます。Genentechは、このシステムによって約5年分の手作業を自動化し、最終的には新薬をより迅速に顧客に届けることができると期待しています。現在、毎日数万人のお客様がBedrockを本番アプリケーションで使用しています。これは、昨年と比べて約5倍の成長を示しています。
そして、これはAWSの直接のお客様だけではありません。SalesforceやSAP、Workdayなど、世界をリードするISVの多くが、すべてのエンドユーザーに生成AIアプリケーションを提供するため、Bedrockを自社のカスタマーエクスペリエンスに深く統合しています。
では、なぜこれほど多くの人々がBedrockを使用しているのでしょうか？その理由の一つは、誰もが使いたいと思うモデルは1つだけではないという私たちの観察結果にあります。人々が活用したいと考えているモデルは、実に様々です。LlamaやMistralのようなオープンウェイトモデルをカスタマイズしたいお客様もいれば、Stability AIやTitanの画像モデルを必要とするアプリケーションもあります。また、多くのお客様が、現在の一般的な知能と推論能力において最高のパフォーマンスを発揮すると評価されているAnthropicの最新モデルを楽しんで使用しています。
この分野ではイノベーションが非常に速いペースで進んでいます。毎週のように新機能や新しいモデル、アップデート、そして新しい価格体系が発表されています。しかし、そのような革新とモデルの数が多いにもかかわらず、自分のユースケースに完璧に合うモデルを見つけることは、意外にも難しい状況が続いています。求められているのは、実現したいことに対する適切な専門性と、適切なレイテンシー、そして適切なコストのバランスです。しかし、それらを全て満たすのは困難です。時には、適切な専門性を持つ非常に賢いモデルがあっても、望むよりも高価で、アプリケーションに必要な速度より遅いことがあります。また別のケースでは、より高速で安価なモデルを見つけても、必要とする能力が不足していることがあります。
Model Distillationの導入：AIモデルの最適化
この課題に対する一つの解決策が、Model Distillationと呼ばれる手法です。Model Distillationでは、この例で言えばLlama 405Bモデルのような大規模なフロンティアモデルを使用し、そのモデルに対して、想定されるすべてのプロンプトや質問を投げかけます。そして、そこから得られた回答データと質問を組み合わせて、この例ではLlama 8Bモデルのような小規模なモデルを学習させ、特定の目的に特化したエキスパートに仕立て上げます。これにより、特定の質問セットに対して適切な回答を提供できる、より小さく高速なモデルが得られます。
この手法は実際にエキスパートモデルを作り出すのに効果的ですが、MLの専門家が必要になります。実際のところ、かなり難しい作業です。データワークフローの管理、学習データの管理、モデルパラメータのチューニング、モデルの重みの検討など、多くの課題があります。私たちは、これらすべてをより簡単にしたいと考えました。そこで本日、Amazon BedrockでのModel Distillationの提供開始を発表できることを嬉しく思います。蒸留されたモデルは、元のモデルと比べて500%高速で、コストを75%削減できます。これは非常に大きな違いであり、Bedrockが全てを自動的に処理してくれます。
このコストの違いは、生成AIアプリケーションのROIを完全に変えてしまう可能性があります。本番環境へのデプロイにコストがかかりすぎるという状況から、実際に価値のあるものへと変化させることができます。そして、Bedrockがこれらの作業をすべて代行します。アプリケーションのサンプルプロンプトをBedrockに送るだけで、すべての作業を実行してくれます。
最終的に、専門性、レイテンシー、コストの適切なバランスを持つカスタム蒸留モデルが手に入ります。しかし、適切なモデルを得ることは、最初のステップに過ぎません。生成AIアプリケーションの真の価値は、エンタープライズデータを取り込み、賢いモデルと組み合わせることで生まれます。そこで初めて、顧客にとって意味のある、差別化された興味深い結果が得られるのです。あなたのデータとIPが本当の違いを生み出します。モデルにデータを追加する最も人気のある方法の一つが、Retrieval Augmented Generation（RAG）と呼ばれる技術です。これにより、モデルはエンタープライズデータに基づいて、より関連性が高く、正確で、カスタマイズされた応答を提供できるようになります。
Bedrock Knowledge BasesとGuardrails：企業データの活用と制御
今年の初めに、Knowledge Bases をリリースしました。これは Bedrock の一部として提供される管理型 RAG インデックスです。Knowledge Bases は、データの取り込みや検索、拡張のワークフローを全て自動化してくれるので、これらを自分で組み立てる必要がありません - 完全マネージド型なのです。データソースを Knowledge Bases に指定するだけで、自動的にテキストの埋め込みに変換し、vector データベースに保存してくれます。すぐに使える状態になるわけです。また、全ての検索結果には自動的に出典情報が含まれるため、情報の出所が分かり、理解度が高まります。
Knowledge Bases は Bedrock の中でも特に人気の高い機能で、私たちは数多くの新機能を追加してきました。幅広いフォーマットのサポートを拡大し、OpenSearch や Pinecone といった新しい vector データベースのサポートも追加しました。このように、Bedrock は適切なモデルを取得し、自社の企業データを活用するためのツールを提供しています。次に必要になるのは、アプリケーションができることの範囲や、応答の形式を設定できることです。そのために、私たちは Bedrock Guardrails をリリースしました。Bedrock Guardrails を使えば、応答の形式を簡単に定義・制御できます。
Bedrock Guardrails を使うことで、アプリケーションの安全性を定義し、責任ある AI チェックを実装することが非常に簡単になります。これは基本的にモデルへのガイドラインとして機能し、生成 AI アプリケーションが関連するトピックについてのみ応答するようにできます。例えば、保険のアプリケーションがあり、お客様が様々な保険商品について質問してくる場合を考えてみましょう。保険に関する質問には答えてほしいものの、政治的な話題や医療アドバイスについては答えてほしくないでしょう。このような場合、特定の分野についてのみ回答するようにガードレールを設定できます。
本番環境のアプリケーションを構築する際には、これは非常に重要な機能であり、これこそが Amazon Bedrock が人気を集めている理由です。昨年を振り返ると、多くの人々が概念実証（PoC）を構築していた時期には、これらの機能はそれほど重要ではありませんでした。モデルが面白いことができれば良かったのです。しかし、今では企業のアプリケーションに深く統合されるようになり、本番環境に移行する際にはこれらの機能が必要不可欠になっています。ただし、生成 AI を実際の本番環境、つまりミッションクリティカルな環境に移行する際に人々が懸念する問題が、もう一つあります。それはハルシネーション（幻覚）です。実際のところ、今日のモデルがどんなに優れていても、時には間違いを起こすことがあるのです。
Automated Reasoning Checksの発表：AIの精度向上
昨年や一昨年の PoC の段階では、90%が正しければ良しとされていました。しかし、本番アプリケーションの細部に踏み込むと、それでは不十分です。保険の例で考えてみましょう。朝、浴室に入ったときに水漏れを発見し、床が水浸しになっているとします。そこで保険会社のウェブサイトにアクセスして、この事故が保険でカバーされるかどうかを確認したいと思うでしょう。保険会社としては、お客様から事故の補償範囲について質問された場合、必ず正確な回答をする必要があります。時々間違った回答をしても良いという訳にはいかないのです。
私たちはAmazonの社員グループに、この問題を解決するために既存の技術を新しい方法で活用できないか考えてもらいました。チームはさまざまな手法を検討し、その一つが自動推論と呼ばれるものでした。自動推論は、何かが数学的に正しいことを証明できるAIの一形態で、通常はシステムが仕様通りに動作していることを証明するために使用されます。自動推論は、手動で確認するには大きすぎる領域を持つものの、システムがどのように動作すべきかという知識体系があり、かつ正確な答えを得ることが極めて重要な場合に特に効果を発揮します。
Amazon AWSには、世界でも最高レベルの自動推論の専門家が在籍しており、AWSの多くのサービスでバックグラウンドで活用しています。例えば、皆さんがIAMポリシーで定義した権限やアクセス設定が、意図した通りに実装されていることを証明するために自動推論を使用しています。これを私たちはProvable Securityと呼んでいます。Amazon S3では、自動推論を使用してS3ストレージシステムの大部分を構成するソフトウェアのシナリオを自動的にチェックし、デプロイ前に検証を行っています。これには、予期しないイベントに対する正しい動作の検証なども含まれます。これにより、可用性や耐久性へのリスクを発生させないよう確実に保護しています。
私たちは様々な分野で自動推論を活用していますが、この技術がモデルの正確性向上にも役立つのではないかと考えました。ネタバレになりますが―今この場で話している以上、答えは明らかにイエスです。本日、Amazon Bedrock Automated Reasoning Checksの提供開始を発表できることを嬉しく思います。Automated Reasoning Checksは、モデルのハルシネーションによる事実誤認を防ぎます。これらのAutomated Reasoning Checksを実装すると、Bedrockはモデルが行った事実に関する記述が正確かどうかを確認できます。これはすべて数学的な検証に基づいており、どのようにその結論に至ったかを正確に示すことができます。
もう一度保険の例を見てみましょう。保険会社としてAutomated Reasoning Checksを実装することにしたとします。まず、すべてのポリシーをアップロードすると、Bedrock内の自動推論システムが自動的にルールを作成します。その後、一連の反復プロセスを経て、通常20〜30分かけて適切な応答を調整していきます。システムは質問を投げかけ、ポリシーがどのように機能するかを十分に理解していきます。先ほどの浴室の例に戻りますが、水漏れの場合、自動推論は結果を確認し、モデルが回答の正確性を確信できない場合は、別のプロンプトを提案したり、顧客に対してモデルへの問い合わせ方法のアイデアを提供したりします。
自動推論チェックは、回答が正確であることを確認します。確認が取れた場合にのみ顧客に回答を送信するため、100%正確な結果を提供できることが保証されます。これは他では得られない機能であり、お客様がミッションクリティカルなアプリケーションに推論を組み込む際に大きな助けになると考えています。
Bedrock agentsとマルチエージェントコラボレーション：複雑なワークフローの自動化
現在、お客様は generative AI のユースケースから多大な価値を得ており、私たちはこれらの機能によって、より多くのアプリケーションにこうした特徴を追加できると考えています。今日、世間で話題になっているように、私たちも次の大きな価値の飛躍は、優れたデータを得るだけでなく、実際にアクションを起こして何かを実行することだと考えています。そのために、私たちは Amazon Bedrock agents を用意しました。Bedrock を使えば、エージェントの構築が容易になり、企業のシステムやデータ全体にわたってタスクを実行できるエージェントを作成できます。Bedrock を使用すれば、実現したいことを自然言語で説明するだけで、すばやくエージェントを構築でき、そのエージェントは販売注文の処理や財務レポートの作成、顧客維持率の分析などを処理できます。
私たちは、バックグラウンドでモデルの推論を使用しています。これによってワークフローが分解され、エージェントは適切な API を呼び出して、実行したいアクションを実行できます。現在、これらのエージェントは単純なタスク、つまり独立した単純なタスクに対してはうまく機能しており、これらのタスクを遂行することができます。お客様はすでに Bedrock agents から多くの価値を得ています。しかし、私たちが受けるフィードバックでは、お客様はさらに多くを求めています。おそらく何百もの異なるエージェントを並行して使用する複雑なタスクを実行したいと考えています。しかし、それを調整することは非常に困難でほぼ不可能です。
例を見てみましょう。グローバルなコーヒーチェーンを運営していて、新しい店舗をオープンするリスクを分析するために複数のエージェントを作成したいとします。多くのエージェントを作成することになるでしょう。世界的な経済要因を分析するエージェント、関連する市場動向を調べるエージェント、さらには個別店舗の財務予測を立てるエージェントなどを作成するかもしれません。全部で、ある場所を調査して個々の情報を返すエージェントを十数個作成するかもしれません。これは実際にかなり価値のあることです。しかし、それらが戻ってきたとき、それらを一つにまとめ、相互の関連性を確認し、さまざまな地域との比較方法を考える必要があります。とはいえ、全体的には管理可能な範囲です。
しかし、おそらく1つの場所だけを個別に見ているわけではないでしょう。コーヒーチェーンの候補地として、さまざまな地域で数百の場所を検討したいはずです。そしてそうなると、これらのエージェントは独立して動作しているわけではないことがわかります。エージェントAは、2番目のエージェントに関連する情報を持っている可能性があるため、実際にはエージェント同士が相互作用し、情報を共有し合う必要があります。これは非常に複雑になります。数百ものエージェントが相互作用し、戻ってきて、データを共有し、また戻っていくことを考えると、突然システムの管理の複雑さが完全に制御不能なレベルまで膨れ上がります。うまく機能すれば非常に価値があるのですが、実現は本当に困難です。
そこで本日、Amazon Bedrock agents のマルチエージェントコラボレーション対応を発表します。これにより、Bedrock agents は複雑なワークフローをサポートできるようになります。先ほどの例のように、特別な個別のタスク用に設計された一連の個々のエージェントを作成します。そして、複雑なワークフローの頭脳として機能するスーパーバイザーエージェントを作成します。このエージェントは、機密情報へのアクセス権を持つエージェントを設定し、タスクを順次実行する必要があるか、それとも並行して実行できるかを判断できます。複数のエージェントが情報を返してきた場合、それらの間で優先順位をつけ、異なるタスクに振り分けることもできます。これにより、特化したエージェント間のすべてのコラボレーションが確実に行われます。
例を見てみましょう。私たちは実際にMoody'sと協力して、この機能の初期ベータ版を使用しました。Moody'sは金融分析とリスク管理サービスを提供する業界をリードする企業です。彼らがBedrockでこのマルチエージェントコラボレーションをテストした際、先ほどのコーヒーチェーンの例と非常によく似たアプリケーションの実証実験を行いました。それは、顧客向けの包括的な財務リスクレポートを生成するアプリケーションでした。この実証実験以前は、このワークフローを完了するのに従業員一人あたり約1週間かかっていました。このマルチエージェントコラボレーションを使用した実証実験では、同じタスクを1時間で完了することができ、しかも並行して任意の数の企業に対してシームレスにスケールすることができました。これは素晴らしい効率化です。Bedrockは、ほぼ不可能と思われた連携のエンジニアリングタスクをシンプルに実現可能にしました。これこそが私たちの目指すところなのです。生成AIはまだ黎明期にありますが、すでにinferenceを使用して構築された素晴らしい体験を目にするようになってきています。
Amazon Bedrockの強み：セキュリティとプライバシー
これらのアプリケーションの中核部分として構築され、すべてがAmazon Bedrockによって支えられているのがお分かりいただけると思います。それは、Bedrockが最高のモデルをすべて提供し、適切なツールと機能を提供しているからです。そしてこれらの機能の多くは他では手に入れることができません。Bedrockこそが、このような画期的な成果を得られる唯一の場所なのです。
もちろん、使用するすべてのものは、プライバシーとセキュリティが最初から組み込まれて構築されています。お客様のデータと知的財産こそが差別化要因となるため、それらを安全に保ち、アクセスをプライベートに保つことは極めて重要です。これはBedrockが最初から重視して構築されてきた要素の一つです。そして、私たちはまだ終わっていません。これは今週発表する新機能のほんの一部です。このキーノートを準備する上で最も難しかったことの一つは、数多くあるBedrockの発表の中から、どれを取り上げるかを決めることでした。幸いなことに、Swamiが明日のキーノートでさらに多くの内容について話す予定ですので、ぜひご覧ください。
世界中の顧客が、この新しい基本的な構成要素としてのinferenceを使って、AWSで素晴らしいものを構築しています。しかし、AWSの構成要素を最も活用している企業が一つあります。それはAmazonです。AWSは長年にわたり、Amazonのイノベーションとスケールを可能にする重要な役割を果たしてきました。この点についてさらにお話しするために、私の良き友人であり、クラウドコンピューティングの生みの親であり、Amazon CEOのAndy Jassyをお迎えしたいと思います。
Andy Jassy登場：AmazonのAI戦略
ありがとう、Matt。皆様と再会できて嬉しく思います。お招きいただき、ありがとうございます。Amazon全体でAIについてどのように考えているか、少しお話ししたいと思います。私たちは過去25年間、会社全体でAIを広範に活用してきましたが、テクノロジーに対する私たちの考え方、そしてこれはAIについても同様ですが、単にかっこいいと思うから使用しているのではなく、お客様の課題を解決するために使用しているのです。
だからこそ、AIについて語るとき、世界最高のチェスプレイヤーに勝利したという話題よりも、小売事業でより良いパーソナライズされたレコメンデーションを提供したり、フルフィルメントセンターのピッカーに最適な経路を提供して商品をより早くお届けしたり、Prime Airドローンに搭載して1時間以内に商品をお届けしたり、Amazon GoストアのJust Walk Out技術に活用したり、Alexaを動かしたり、あるいは25以上のAWS AIサービスを提供してお客様が素晴らしいアプリケーションを構築できるようにすることの方が重要なのです。
私たちは、お客様にとって本当に価値のある技術を優先しています。そして、ここ数年のGenerative AIの爆発的な進展に対しても、同じアプローチを取っています。革新的な技術は数多くありますが、私たちが目指しているのは、お客様の課題を解決すること、つまり実用的なAIの実現です。これまでのところ、世界中の企業が最も成功を収めているのは、コスト削減と生産性向上の分野です。多くの企業がそこで成果を上げていますが、同時に、顧客体験を完全に再構築し、刷新する動きも出てきています。
Generative AIを活用したAmazon社内のアプリケーション開発においても、同じような傾向が見られます。例えばカスタマーサービスを見てみましょう。私たちの小売事業には数億人の顧客がいます。時々カスタマーサービスへの問い合わせが必要になりますが、大多数のお客様は、素早く自分で解決できるセルフサービス方式を好みます。私たちは何年も前にチャットボットを構築しましたが、もちろんそれは機械学習を使用していましたが、静的な決定木を使用しており、お客様は回答を得るまでに多くの言葉のやり取りを強いられていました。
数年前、私たちはこれをGenerative AIを使って再構築しました。その結果、お客様にとってずっと使いやすくなりました。例えば、数日前に商品を注文したとします。新しいチャットボットにアクセスすると、システムはあなたが誰で、数日前に何を注文し、どこに住んでいるかを把握しています。このモデルでは、数日後にお問い合わせがあった場合、返品に関する問い合わせである可能性が高いと予測できます。そのような問い合わせを受けた場合、すぐにWhole Foodsなどの最寄りの実店舗での返品場所をご案内できます。また、このモデルは、お客様がフラストレーションを感じ始め、人間のオペレーターによる対応が必要になりそうなタイミングも予測できます。この再構築前のチャットボットも、すでに高い顧客満足度を得ていましたが、Generative AIの機能を追加してからは、顧客満足度がさらに500ベーシスポイント向上しました。これこそが実用的なAIなのです。
AmazonにおけるAIの実践：カスタマーサービスからロボティクスまで
セラーについてお話ししましょう。私たちのリテールストアには世界中に約200万のセラーがいて、現在販売されている商品の60%以上を占めています。彼らが商品をウェブサイトに掲載する際には、非常に長いフォームに記入する必要があります。多くの入力項目があるのは、お客様が商品を簡単に見つけて理解できるようにするためですが、セラーにとっては大変な作業となっています。
私たちは生成AIを活用してツールを再構築しました。これにより、セラーは数単語を入力するか、写真を撮るか、URLを指定するだけで、ツールが多くの属性を自動的に入力してくれるようになりました。セラーにとって非常に使いやすくなり、現在50万人以上のセラーが私たちの生成AIツールを利用しています。在庫管理について考えてみると、私たちの小売事業で解決しなければならない問題の規模が分かります。1000以上の建物、あるいはノードと呼んでいる施設があり、私たちの行うすべての業務は、適切な商品をエンドカスタマーの近くのフルフィルメントセンターや建物に配置することで、輸送時間を短縮し、より速く、より低コストで商品をお届けできるよう最適化されています。
常に私たちは、フルフィルメントセンター内の商品、各アイテムの在庫レベル、どの商品が注文されているか、そしてその注文頻度を把握する必要があります。そのフルフィルメントセンターにはまだ余裕があるのか？ネットワークのバランスを取るために在庫を他のフルフィルメントセンターに移動する必要があるのか？これらの問題を解決し予測を行うために、transformerモデルを活用しています。すでに長期需要予測のtransformerモデルによって精度が10%向上し、地域予測の精度も20%以上改善されています。私たちの規模では、これらは大きな進歩です。
ロボティクスについて考えてみましょう。私たちは75万台以上のロボットを様々なフルフィルメントセンターで稼働させており、それらには多様なAIが搭載されています。例えば、仕分け作業を行うロボットアームのSparrowを見てみましょう。フルフィルメントセンターを俯瞰すると、様々な場所から商品を集めてコンテナに集約する作業が絶え間なく行われています。私たちは保有する処理能力と搬送システムを最適化しています。Sparrowは、あるビンから商品を取り出し、別のビンに集約する作業を行います。
Sparrowに搭載された生成AIは、最初のビンの中身を認識し、どの商品を取り上げるべきかを判断する必要があります。どの商品がどれなのかを見分け、その大きさや材質、柔軟性に応じて適切な把持方法を理解し、受け取りビンのどこに置けばよいかを知る必要があります。これらはすべて、お客様への処理時間とサービスコストを変革するために不可欠な発明です。私たちは、このような全く新しいロボティクスの発明を約5つ、数ヶ月前にLouisianaのShreveportフルフィルメントセンターで導入しました。すでに処理時間が25%短縮され、これらのAIの発明とロボティクスによって、ホリデーシーズン中のサービスコストを25%削減できると考えています。
これらはすべて、Amazonの内部で実際に効果を上げているコスト削減と生産性向上の例です。しかし、私たちは生成AIによって全く新しいショッピング体験を生み出し、発明することもできています。いくつかの例を挙げましょう。まずはRufusから始めましょう。これは私たちのショッピングエージェントです。欲しい商品が決まっている場合、Amazonで注文して素早く自宅に配送してもらうほど優れた体験はないと私は考えています。
Rufusの紹介：AIショッピングアシスタント
ただし、何が欲しいのかわからない状態で検討している場合は、もちろんAmazonで探すこともできます。実際に多くの方がそうしていて、ありがたく思っています。ブラウズノードや、私たちが提供するレコメンデーション、そしてカスタマーレビューを通じて商品を探すことができます。でも、欲しいものがはっきりしていない時には、実際の店舗に行って店員さんに相談し、自分の考えを伝えて、店員さんに絞り込みの質問をしてもらい、検討すべき商品を2、3点紹介してもらうのも良いものです。そうして商品を見てみると、すべての情報が目の前にあるわけではないので、店員さんにさまざまな観点から質問をして、すぐに答えてもらえます。
店員さんが離れて行かない限り、欲しいものについて素早く判断を下すことができます。私たちはRufusを通じて、このような体験をさらに良いものにしようとしています。Rufusを使えば、どの商品詳細ページでも、膨大な情報を探し回る代わりに、質問をするだけですぐに答えを得ることができます。
Rufusは商品やカテゴリー間の比較を行い、おすすめ商品を提案します。幅広い商品についての推薦を依頼すると、あなたの意図をより良く理解するために絞り込みの質問をしてくれます。「いつも買っているゴルフグローブを探して」とRufusに頼めば、以前注文したものを見つけてくれます。また、まだ配達されていない商品の配送状況をRufusに尋ねることもできます。
実際の店員さんと比べたRufusの利点の一つは、他の小売店に転職したり、別の職業に転向したりすることがないということです。Rufusは常にあなたと共にいて、あなたの意図や興味、好みについて継続的に学習していきます。もう一つのエージェントであるAlexaを例に考えてみましょう。私たちがAlexaを開始し、世界最高のパーソナルアシスタントを作ることが目標であり使命だと発表した時、多くの人が懐疑的でした。なぜなら、それは広範な領域をカバーする必要があり、達成が困難な課題だったからです。しかし、大規模言語モデルと生成AIの登場により、これが実現可能であることが明確になりました。すべてのデバイスで5億のアクティブノードを持ち、エンターテインメント、ショッピング、情報収集、スマートホーム管理に活用されているAlexaを見ると、私たちはこの分野でリーダーになれる本当のチャンスを手にしています。
現在、私たちは複数のファウンデーションモデルを使ってAlexaの頭脳を再構築しています。これによってAlexaは質問により適切に答えられるようになるだけでなく、現在の生成AIアプリケーションではほとんど実現できていない、ユーザーのニーズを理解して予測し、実際にアクションを起こすことができるようになります。これらの改善は今後数ヶ月のうちに実感していただけるはずです。エージェント以外にも、生成AIを活用して、まったく新しいカスタマーエクスペリエンスを生み出す数多くの新機能を開発しています。
いくつか例をご紹介させていただきます。Amazon Lensという機能があります。友人の家で素敵なプランターを見かけて、どこで購入したのか知りたいけれど、友人も分からないという状況を想像してみてください。これまでは、Amazonなどで「プランター ハンギング マクラメ」などと検索しても、目的の商品にたどり着けないかもしれませんでした。しかし、Amazon Lensを使えば、その商品の写真を撮るだけで、コンピュータービジョンとマルチモーダルモデルを活用して検索を行い、Amazonの該当商品に直接アクセスして簡単に購入することができます。
サイズ選びについても考えてみましょう。シャツを購入する際、そのブランドが大きめなのか小さめなのか、自分にはMサイズとLサイズのどちらが合うのか迷った経験は誰にでもあるはずです。私たちは、取り扱っている多数のブランド間のサイズ関係を分析する大規模言語モデルを構築しました。どのブランドが似たようなフィット感で、どれが大きめや小さめに作られているかを比較します。そして、お客様が以前に購入した商品を参考に、新しいブランドの商品を購入する際に、正確なサイズ推奨を行うことができるようになりました。
Prime Videoについて見てみると、私たちはNFLと深いパートナーシップを結んでいます。共同でNext Gen Statsを開発し、シーズンごとに5億のデータポイントを収集しています。このデータの上にAIモデルを構築し、Defensive Alertsのような機能を作り出しました。これは、どのディフェンス選手がブリッツをかけそうかを特定し、視聴者に分かりやすくハイライト表示する機能です。様々なフォーメーションやセットを分析してディフェンスの弱点を見つけ出し、オフェンスがどこを攻めるべきかを示す防御脆弱性機能も実装しました。これらのイノベーションにより、ファンの視聴体験は大きく変革されています。
AmazonのAI開発における教訓
これらの例は、Amazonが開発中または既に構築済みの約1,000の生成AIアプリケーションのほんの一部です。この過程で私たちは重要な知見を得ており、その中から3つの重要な教訓をお伝えしたいと思います。1つ目は、生成AIアプリケーションをスケールする際、計算コストが極めて重要になるということです。世界中で展開している私たちの生成AIアプリケーションは、主に1種類のチップを計算用に使用して構築されています。
多くの人々がこの側面に強い関心を持ち、より良い価格性能比を求めています。そのため、Trainium2への期待が非常に高まっているのです。先ほどMatt Garmanが話していたように、本当に優れた生成AIアプリケーションを構築するのは実際かなり難しいものです。優れたモデルを持っているだけでは不十分で、適切なガードレール、適切な流暢なメッセージング、適切なUI、そして適切なレイテンシーが必要です。そうでないと、遅くてもたつくような体験になってしまいます。また、適切なコスト構造も必要です。よくあるのは、優れたモデルを使ってアプリを構築し、少し作業を行って素晴らしい生成AIアプリができたと思い込むことですが、実際にはそれは70%程度の完成度に過ぎません。現実には、30%の不完全さを含むアプリをユーザーは好意的に受け入れてはくれないのです。
3番目に申し上げたいのは、Amazon社内でのビルディングの状況に驚かされたということです。使用されているモデルの多様性について、私たちはビルダーたちに自由な選択を認めました。当初は、ほぼ全員がAnthropicのClaudeモデルを選ぶだろうと予想していました。なぜなら、Claudeは過去1年ほど、世界で最も優れたパフォーマンスを示すモデルだったからです。確かに多くの社内ビルダーがClaudeを使用していますが、同時にLlamaモデルや、私たち独自のモデルを含む様々なモデルも使用しています。これは当初は意外でしたが、よく考えてみると、私たちが何度も学んできた教訓そのものでした - つまり、世界を支配する単一のツールは存在しないということです。データベースの世界でもそうですよね。この10年間、私たちはこのことについて話し続けてきました - 人々は多くの異なるリレーショナルデータベースやノンリレーショナルデータベースを使用しています。
分析の分野でも同様です。6、7年前、私がステージに立っていた頃、誰もがTensorFlowが唯一のAIフレームワークになると考えていました。私たちは複数のフレームワークが存在することになると言い続け、実際にそうなりました。結果として、PyTorchが最も人気のあるものとなり、モデルについても同じことが言えるでしょう。私たちは社内でこれを目の当たりにしています。これらのアプリケーションを構築していく中で気づいたのは、社内のビルダーたちがモデル開発チームに様々な要望を出してきているということです。より良いレイテンシー、より低いコスト、fine tuningの機能を求めています。また、データの根拠付けのために異なるナレッジベース間でより良い連携を行う能力や、多くの自動化されたアクションを実行する能力（エージェント的な振る舞いと呼ばれるもの）、さらには画像や動画の処理能力の向上も求めています。
私たちはこのようなフィードバックをモデルプロバイダーのパートナーと共有しており、彼らも非常に前向きに受け止めていますが、やるべきことが山積みです。これが、私たちが独自のフロンティアモデルの開発を続けている理由の一つです。これらのフロンティアモデルは、この4〜5ヶ月で大きな進歩を遂げました。私たちがこれらの価値を見出しているのであれば、皆さんにとっても価値があるだろうと考えました。そこで、フロンティアレベルのインテリジェンスと業界をリードする価格性能比を提供する、新しい最先端のファウンデーションモデル、Amazon Novaの発表をさせていただきます。
Amazon Novaモデルの発表：次世代のAIモデル
このインテリジェントなモデル群には、4つのバリエーションがあります。1つ目はMicroで、テキストのみのモデルです。つまり、テキストを入力するとテキストを出力します。非常に高速で、コスト効率が良く、社内のビルダーたちは単純なタスクに大変重宝しています。そして、テキスト、画像、動画を入力してテキストを出力できるマルチモーダルモデルが3種類あります。これらは、サイズとインテリジェンスの順に並んでいます。Micro、Lite、Proモデルは本日から一般提供を開始し、Premierモデルは第1四半期に提供開始予定です。
ベンチマークをご紹介しましょう。可能な限り外部で公開されているベンチマークを使用し、利用できない場合は独自のテストを実施しました。私たちの検証方法はウェブサイトで公開していますので、よろしければ再現してみてください。Microモデルを見ると、非常に競争力があることがわかります。この分野の主要モデルであるLlamaやGoogleのGeminiと比較した生のスコアを見ると、Llamaのすべての指標で上回り、Geminiに対しても12〜13の指標で上回っています。ただし、統計的有意性の検証では、95%信頼区間で重なっているものだけを採用しました。
これらの結果は同等とみなしています。このような観点から見ると、今後も同様の見方をしていきますが、同クラスのモデルにおいて、LlamaやGeminiと比較してすべてのベンチマークで同等以上の性能を示していることがわかります。Nova Liteモデルについても、同様の傾向が見られ、非常に競争力のある結果となっています。Nova LiteをOpenAIのGPT-4o Miniと比較すると、19個中17個のベンチマークで同等以上、Geminiとの比較では21個中17個のベンチマークで同等以上、そしてHaiku 3.5との比較では12個中10個のベンチマークで同等以上の性能を示しています。Haikuはまだ画像や動画に対応していないため、すべての側面でベンチマークを取ることはできませんでしたが、やはり非常に競争力のあるモデルとなっています。
Nova Proについても、その優れた性能が続いています。GPT-4oと比較すると、20個中17個のベンチマークで同等以上、Geminiとの比較では21個中16個のベンチマークで同等以上の性能を示しています。このクラスで最も優れているのはClaude 3.5 Sonnet V2ですが、それでも私たちのProモデルは約半数のベンチマークで同等以上の性能を発揮しています。リードしていない項目についても、依然として高い競争力を保っており、コストとレイテンシーの特性も評価していただけるはずです。私たちの最大規模のマルチモーダルモデルとなるPremierモデルは、第1四半期に提供開始予定です。
これら4つの競争力のある魅力的なインテリジェンスモデルには、いくつかの注目すべき利点があります。まず、Bedrockの他の主要モデルと比べて約75%コストが低いという、非常に費用対効果の高さが挙げられます。また、レイテンシーの面でも最速のモデルとなっています。NovaモデルはPeterが昨夜説明したレイテンシーに最適化された推論オプションでも提供される予定です。これらはBedrockに統合されているだけでなく、モデルプロバイダーが利用できるすべての機能と深く統合されています。
これにより、アプリケーションの性能向上のためにラベル付きの例を使用したいアプリ開発者にとって、ますます重要となるファインチューニング機能が利用可能です。また、NovaモデルはMattが説明したディスティレーション機能とも統合されており、より大きなモデルのインテリジェンスを、よりコスト効率が高く、レイテンシーの低い小さなモデルに注入することができます。さらに、Bedrock Knowledge Basesとも深く統合されており、RAGを使用して独自のデータに基づいた回答を得ることができます。加えて、これらのモデルは独自のシステムやAPIとの連携に最適化されており、複数の調整された自動ステップやエージェント的な振る舞いを実現することがより容易になっています。
Nova CanvasとReelの発表：画像・動画生成の革新
お客様は生成AIによるテキスト出力以上のことを求めています。広告、マーケティング、トレーニング資料など、画像や動画に関する重要なニーズもあります。これは費用がかかり、選択肢も限られている課題ですが、私たちはこの課題に真摯に取り組んできました。本日、最先端の画像生成モデルであるAmazon Nova Canvasの発表ができることを嬉しく思います。
Canvasは、自然言語のテキストを入力すると、美しいスタジオ品質の画像を生成することができます。自然言語やテキスト入力による画像編集が可能で、カラースキームやレイアウトのコントロールも提供します。また、トレーサビリティのための透かしや、有害なコンテンツの生成を制限するコンテンツモデレーションなど、責任あるAI利用のための機能も組み込まれています。私たちはCanvasを、この分野で一般的にリーダーと考えられているDALL-E 3とStable Diffusion 3.5と比較検証しました。画質と指示への忠実性という2つの重要な要素について評価を行い、Canvasは両者を上回る性能を示しました。また、人による評価でも同様の結果が得られ、非常に魅力的なモデルとなっています。
また、動画生成も簡単にできるようにしたいと考え、最先端の動画生成モデルであるAmazon Nova Reelのローンチを発表できることを嬉しく思います。Reelを使えば、スタジオ品質の素晴らしい動画を作成できます。カメラを完全にコントロールでき、パンニングや360度回転、ズームなどのモーション制御が可能です。また、透かしやコンテンツモデレーションなど、安全なAIのための制御機能も組み込まれています。まずは6秒間の動画生成から始めますが、これはマーケティングや広告に最適で、数ヶ月以内に2分間の動画にも対応する予定です。
このReelについても比較検証を行いました。APIを提供している動画生成サービスは多くなく、自動ベンチマークを持つものは皆無です。私たちは業界のリーダーの一つであるRunwayとの人による評価を行い、Reelが他と比べて非常に好ましい結果を示しました。以上が6つの新しいフロンティアモデルですが、Novaの次の展開はどうなるのでしょうか？チームは来年にかけてこれらのモデルの第2世代の開発に懸命に取り組んでいきますが、今日は2つの新機能についても少しだけご紹介したいと思います。
まず、第1四半期には、Speech to Speechモデルの提供を予定しています。これにより、音声を入力すると非常に流暢で素早く音声を出力することができます。そして年半ばには、Any to Anyモデルを提供する予定です。これは真の意味でのマルチモーダル対応モデルです。テキスト、音声、画像、動画を入力し、テキスト、音声、画像、動画を出力することができます。これこそがフロンティアモデルの構築と利用の未来であり、皆様にお届けできることを心待ちにしています。
皆様はAWSのモデル戦略をどのように考えればよいのか、疑問に思われるかもしれません。私たちは数多くのモデルプロバイダーと深いパートナーシップを結び、さらに独自のモデルも持っています。考え方としては、私たちが常に提供している選択肢と同じように考えていただければと思います。つまり、どこよりも幅広く優れた機能を提供するということです。実際のところ、皆様は異なる目的や場面に応じて異なるモデルを使用することになるでしょう。これは現実の世界のあり方そのものです。人間も、すべての分野の専門知識を一人の人間に求めることはありません。それぞれの分野に長けた異なる人々がいるのです。
時にはコーディングの最適化が必要になり、時には数学的な最適化、時にはRAGとの統合、時にはエージェントのニーズ、時には低レイテンシー、時にはコスト面での最適化が必要になります。そして、ほとんどの場合はこれらの組み合わせが求められます。AWSでは、これらすべての最高の組み合わせを提供していきます。素晴らしいことに、これらのモデルはすべてBedrockで利用可能で、お好みの組み合わせで使用できます。実験を重ねて時間とともに変更することもでき、現在も、そして将来的にもそのような選択肢と自由度を提供していきます。
後半へ続く： re:Invent 2024 - CEO Keynote with Matt Garman (後半)
※ こちらの記事は Amazon Bedrock を利用することで全て自動で作成しています。
※ 生成AI記事によるインターネット汚染の懸念を踏まえ、本記事ではセッション動画を情報量をほぼ変化させずに文字と画像に変換することで、できるだけオリジナルコンテンツそのものの価値を維持しつつ、多言語でのAccessibilityやGooglabilityを高められればと考えています。
Discussion