re:Invent 2025: TE ConnectivityのAgentic AIプラットフォームTELmeによる製品エンジニアリング変…
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！
re:Invent 2025 の書き起こし記事については、こちらの Spreadsheet に情報をまとめています。合わせてご確認ください
📖re:Invent 2025: AWS re:Invent 2025 - How TE Connectivity Transforms Product Engineering with Agentic AI (IND369)
この動画では、TE ConnectivityがAWSと協力して構築したAgentic AIプラットフォーム「TELme」について解説しています。40,000人のユーザーに1,000万件以上のレコードへのアクセスを提供し、99.99%のアップタイムと15秒以下の応答時間を実現しました。Amazon BedrockとAmazon OpenSearchを活用し、複雑な2D図面の読み取り精度を業界標準の40-50%から90%以上に向上させています。ロールベースアクセス制御によるセキュリティファーストの設計、ユーザー1人あたり月額1ドル未満という驚異的なコスト効率、エンジニアリング部門での75%という高い採用率を達成しました。embedding最適化により、OpenSearchのコストを当初の10分の1に削減した技術的な取り組みや、ユーザーが独自のエージェントを作成・共有できる民主化されたプラットフォームの実現について詳しく説明されています。
※ こちらは既存の講演の内容を最大限維持しつつ自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますのでご留意下さい。
本編
TE ConnectivityとAWSによる製造業向けAgentic AI変革の全体像
皆さん、こんにちは。Industrial 369のブレイクアウトセッション、TE ConnectivityがAgentic AIで製品エンジニアリングをどのように変革したかについてのセッションへようこそ。私の名前はMrunal Daftariです。AWSのSenior Solutions Architectを務めており、ここ数年間、TE Connectivityと密接に協力して、私が信じるところでは最も印象的な製造業向けAgentic AIワークロードの一つをアーキテクトし実装するお手伝いをする特権に恵まれました。
本日のセッションはユニークなものになります。なぜなら、私たちのパートナーであるTE Connectivityから直接その物語を聞いていただけるからです。私はTEのパートナーであるGirishと一緒に登壇し、彼がこの画期的な変革の旅と、ソリューションがどのように構築されたかをご説明します。TE Connectivityが私たちにアプローチしてきたとき、彼らは40,000人の従業員にGen AIプラットフォームを提供するという野心的なビジョンを持っていました。このプラットフォームは、1,000万件以上のレコードと50以上のデータソースにインテリジェントにアクセスしながら、エンタープライズグレードのセキュリティを維持し、低レイテンシーのレスポンスを生成し、従業員あたりのコスト比率を可能な限り最小限に抑えるというものでした。では、TE Connectivityがどのようにしてこれらを達成したのか、本日見ていきましょう。なぜなら、ほとんどの企業がそのうちの1つか2つを達成することに失敗する中、TE Connectivityはそれらすべてを達成することができたからです。
それでは、本日のアジェンダです。まず、製造業のAIランドスケープで私たちが目にしているもの、なぜ73%のエンタープライズ製造業AIワークロードが本番環境に到達できないのか、そしてエンジニアリングドキュメント処理が専門的なソリューションを必要とする課題は何かについて説明します。次に、TE Connectivityが数千人の製品エンジニアへのサービス提供というコンセプトから、今日の最新バージョンのTELmeにおける40,000人以上のユーザーへとどのように物語を変革したかについて見ていきます。彼らがどのようにして99.99%のアップタイムを実現したか、そして業界標準の40から50%に対して2Dモデルの読み取り精度がどのように向上したかという画期的な成果についてです。セッションの中核部分は、私のパートナーであるGirishが担当し、TELmeのAgentic AI機能、アーキテクチャ、そしてエンジニアリング部門での75%の採用率という実世界でのインパクトをデモンストレーションします。そしてもちろん、TELmeは当初の8,000人のパイロットユーザー目標から、現在では40,000人以上のユーザーに成長しています。
製造業が直面するデータの課題：ボリューム、アクセス、複雑性という三重苦
セッションの最後には、学んだ教訓、私たちが行ったコスト最適化、そしてそれがTE Connectivityにおける製造業AIの未来にとって何を意味するのかについてまとめます。製造業は、AIソリューションがほとんどの場合苦戦したり失敗したりする原因となる、データの課題の完璧な嵐に直面しています。3つの重要な課題があります：ボリューム、アクセス、そして複雑性です。メーカーとして、彼らは年間数千ペタバイトを生成し、システム全体に散在する数千の技術文書があり、数百万件のレコードがますます多くの処理を必要としています。ほとんどのデジタル化は依然として手動であり、コストがかかり時間に敏感です。
しかし、ボリュームは本当の問題ではありません。それらの文書内の複雑性こそが問題なのです。私たちは、エンジニアリング図面、技術的な回路図、製造仕様書を扱っており、これらは典型的なシンプルなAIソリューションでは理解できません。知識は、従来のシステムが理解できない非構造化コンテンツの中に閉じ込められています。データがあったとしても、エンジニアはその情報を探すのに何時間も費やしています。経験豊富な労働力が退職し、その重要な知識を持ち去ることで、大規模な知識の損失が起きています。そして、これらすべての上にエンタープライズセキュリティ要件を追加すると、製品チームのメンバーが本当に最も必要としているまさにその時に、重要な情報にアクセスできないという状況が生まれるのです。
では、製造業におけるAIの真の現実とは何でしょうか？厳しい真実をお伝えします。生成AIイニシアチブの73%は本番環境に到達することがありません。製造業ではさらに状況が悪化しています。なぜなら、標準的なGPTスタイルのソリューションでは、CAD図面を理解することができず、2D図面を理解することもできず、これらの複雑なエンジニアリングワークフローをナビゲートすることが困難だからです。これはまさに、TE Connectivityが製品エンジニアリング部門の8,000人以上のユーザーに1,000万件以上の技術データポイントへのアクセスを提供しようとした際に直面した課題でした。ですから、問題はAIがそれを実現できるかどうかではありませんでした。問題は、彼らの製品エンジニアリングワークロードと効率を加速させるために、どのような高度なAIシステムを構築できるかということでした。
彼らの製品エンジニアリング部門のために。そこから私たちの真のパートナーシップが始まりました。では、正しい方法で取り組めば、これらの課題がいかに御社にとって有利になり得るかをお見せしましょう。
驚異的な成果：15秒の応答時間と75%の採用率を実現したTELme
数百万件のドキュメント全体で15秒の応答時間を実現しました。これについて考えてみてください。エンジニアにとって、図面を開くだけでそれ以上の時間がかかることもあります。エンジニアの皆さんは今や1,000万件以上の技術記録を照会し、サブセカンドのレイテンシーでアクセスできるため、これまで以上に高速で正確な応答を得ることができます。エンジニアリング部門での高い採用率が大きな効率性をもたらしました。なぜなら、ほとんどのイニシアチブが20%から30%の採用率に到達しない業界において、TE Connectivityはそれらの業界ベンチマークの2倍以上を達成することができたからです。これが、製造業者のために実際に機能するAIを構築すれば、人々がそれを使いに来るという証明です。
製品設計とエンジニアリングサイクルの加速により、イノベーションがより迅速に進みます。なぜなら、エンジニアが適切なセキュリティアクセスを持って数十年分のデータに瞬時にアクセスできるようになると、彼らの効率性と新しい生産ワークロードを優れたスピードで推進できるからです。さて、製造業で私たちが直面する最大の課題は、多くのドキュメントが利用可能であるにもかかわらず、蓄積された専門知識を持ち去ってしまう高齢化した労働力の退職です。ですから、次世代のエンジニアがこのようなシステムアクセスを利用できる準備が整っていれば、御社の成長と知識の保持は損なわれることなく維持されます。
そして最後に、ユーザー1人あたり月額の極めて低いコストです。40,000ユーザーというエンタープライズ規模において、これは驚くべきことです。なぜなら、従業員1人あたり月額10ドルから20ドルでさえ莫大なコストであり、TE Connectivityは業界全体でのその10ドルから20ドルのベンチマークのほんの一部のコストを達成することができたからです。これらは単なる指標ではありません。製造組織が知的資本をどのように活用できるかという根本的な変革を表しているのです。そしてそれこそが、TE ConnectivityがAIプラットフォームを構築しただけでなく、製品エンジニアのための製造インテリジェンスの未来を構築したということなのです。
AWSとTEのパートナーシップが生んだ革新的アーキテクチャと90%超の精度
では、これらの厳しい要件を満たすことができるソリューションをどのようにアーキテクトしたのでしょうか?ここでAWSとTE Connectivityの真のパートナーシップが発揮されたと思います。私たちは適切なツールセットとテクノロジーを提供しました。TE Connectivityは業界からの適切な経験とデータセットへのアクセシビリティを提供してくれました。私たちは単に別のAIソリューションを実装したのではなく、ゼロから最新の産業データ戦略を構築したのです。これは、製造データがどのように流れ、どのようにインデックス化され、そしてエンタープライズスケールでAIシステムにどのようにアクセス可能にするかを再考することを意味しました。
技術的な課題は膨大でした。数千人のアクティブユーザーに同時にサブミリ秒のレイテンシーでサービスを提供しながら、アップタイムを維持する必要がありました。これには革新的なアーキテクチャが必要であり、そのため私たちはAIニーズにはAmazon Bedrockを、1000万以上のドキュメントを検索するための超高速ベクトル検索にはAmazon OpenSearchを使用しました。私たちは測定可能な成果を伴う段階的アプローチを取りました。各フェーズに測定可能な成果、計画されたローンチ、そして測定された採用率を伴う成功基準を設けるという規律あるアプローチを取りました。
このソリューション全体における画期的なことは、2Dモデル理解の精度です。ここでTE Connectivityは限界を押し広げ、技術図面に対して90%以上の精度を達成することができました。これは業界標準の40から50%と比較してのことです。これは50%以上の改善を表しており、複雑な機械図面や製造図面を扱う彼らのエンジニアリング組織にとって、まさにゲームチェンジングなものです。
私たちが行った画期的なことの一つは、Gen AI内にナレッジグラフを統合したことです。これによりTELmeは個々のドキュメントだけでなく、エンジニアリング図面、製造プロセス、設計決定の間の関係性を理解できるようになり、プラットフォームが文脈的にインテリジェントな応答を提供できるようになりました。すべての上に、エンタープライズ製造データは非常に機密性が高いものです。そこで私たちは洗練されたロールベースのアクセスシステムを構築しました。つまり、適切なアクセス権を持つユーザーは、見るべきすべてのものを見ることができるということです。
しかし、AIは組織によって設定されたセキュリティ境界内で、より良く正確な応答を提供するために、そのデータベース全体に基づいて推論することができます。そして最後に、私たちが達成した最も重要なことは、驚くべきコスト最適化です。先ほど述べたように、第3フェーズの後、私たちはTELmeソリューション内に最適化技術を導入し、コストを大幅に削減することができ、洗練された製造AIがコスト効率的であり、組織により多くの効率性と生産性の向上をもたらすことができることを証明するのに役立ちました。これがAWSとTEのパートナーシップを行うことの典型的な利点でした。結果がそれ自体を物語っています。
昨年のre:Inventで、TELmeが最大8,000ユーザーにサービスを提供している様子についてプレゼンテーションを行いましたが、現在TELmeは40,000人以上のユーザーにサービスを提供しており、99%のアップタイムと経済的なユーザーあたり月額コストを実現し、社内で構築された画期的なエンジニアリング図面理解機能により驚異的な精度を誇っています。皆さんは私からこれを聞くためだけにここに来たわけではないので、Girishに引き継ぎたいと思います。彼が変革の全体的な道のりをご案内し、アーキテクチャパターンを深く掘り下げ、なぜTELmeが製造業界で際立っているのかをお話しします。
TELme開発の道のり：8,000人から40,000人へ、営業チームを変えたインパクト
Girish、ありがとうございます、Bal。TE Connectivityは、接続ソリューションとセンサーの設計・製造における大手企業です。ご覧のように、私たちは約100の工場、約90,000人の従業員、そして約9,000人のエンジニアリング人材を擁し、研究開発エンジニアリングに7億4,000万ドルを投資しています。私の名前はGirishです。TE Connectivity SingaporeのAI Hubに所属しています。Senior Software Development Managerとして、そこでgenerative AIチームをリードしています。私たちは約7人で、5人がシンガポール、2人がインドにいます。
generative AIがTEのような製造会社をどのように変革できるか、そして驚異的な1,000万のデータセットをLLMに拡張し、1人あたり月額1ドル未満のコストで、ユーザーがどのようなメリットを得られるかという道のりをご紹介したいと思います。それが今日のストーリーです。これから先、アーキテクチャを深く掘り下げていきます。その前に、この道のりはどのように始まったのでしょうか？質問は、このgenerative AIプログラムの根本にあるものは何かということです。既製のツールがありますよね。既製の多くのソリューションを接続することができます。なぜ別のgenerative AIツールが必要なのでしょうか？
ストーリーはこうです。私たちは昨年のある時期に始めました。私たちがやったことは、TE Connectivityは複数のビジネスユニット、複数のセグメントを持つ大企業で、それぞれが自律的に働き、複数の製品を開発しています。そこで私たちがやったことは、100人以上の専門家と主題専門家、AI愛好家、ドメインエキスパートを集めて、こう言いました。「あなたは何をしたいですか？今後2〜3年でgenerative AIに何を期待しますか？generative AIがあなたのドメインにどのように適用できると思いますか？」これが私たちのストーリーの基本的なブロックです。
そして、ドメインエキスパートによって生み出された多くのアイデアが出てきました。そしてAI愛好家である人々、彼らはAIで何が達成できるかを知っていました。そして私たちは、よし、generative AIで達成したいことのリスト、たくさんのリストを手に入れたと言いました。それから私たちはそれらを分類して、よし、これが初年度だと言いました。私たちは膨大な数のドキュメントを持っています。質問と回答のツールを構築しましょう。会社の40,000人の誰もが入ってきて、質問をして、答えを得る。それが基本的なことですよね？それが基本的なポイントです。
そして彼らは言いました、私たちの旅はそこから始まるんだと。大量のデータを手に入れたら、次にやることはそのデータからインサイトを導き出すことです。そしてワークフローを生成し、自動化していく。それが私たちのタイムラインです。1年という期間の中で、何百万ものデータを取り込み、そこからインサイトを生成していきます。利用可能なすべてのコンテンツに基づいて、知的な応答を生成していくわけです。
私たちはAIがそれをやってのけるとは予想していませんでした。データを取り込んだとき、生成AIが複数の場所に散在するデータを持つ、非常に多くの異なるシステムから、シームレスにインサイトを引き出す方法に驚かされました。生成AIを導入すると、私たちが思いもよらなかった応答を統合することができるんです。本当に驚きました。それが最初の1年の旅でした。2025年には8,000人に展開し、人々から非常に大きな熱意を目にしました。
そして次のストーリーは、来年までに特定の機能的な役割を実行できるものを生成したいということでした。例えば、デザインレビューや、デザインの故障モード解析、品質監査のチェック、コンプライアンスのチェックといったものです。それが私たちの目標でした。来年までに、機能内のいくつかのタスクを自動化できるレベルに到達するという目標です。そして、利用可能な情報に基づいて、エンジニアリングコンテンツを作成し、フォーマットし、生成できるようにすべきだと言いました。さらに、私たちが持っている内部データを使用し、大規模言語モデルから外部の知識を取り込んで、それを組み合わせてインサイトを増幅させるべきだと言いました。それが私たちが持っていた目標でした。
2025年9月、AWSベースの独自のGen AIプラットフォームのローンチにより、私たちはこれらすべての目標を達成することができました。今後どこに向かいたいのか？それが私たちが思い描く未来です。今後1〜2年で、ある役割に対して可能な限り完全に自動化されたエンドツーエンドのタスクを実現したいと考えています。おそらく70〜80パーセントです。役割を特定し、その役割と機能がどれだけ自動化できるかを見極めたいと思っています。その自動化を実現したいのです。そして、生成的プロダクトデザイン。私たちは、製品設計そのものに生成AIをどのように活用できるかを見極めようとしています。
そしてagentic meshです。今、私たちは皆、エージェントについて見聞きしています。AWS re:Inventは、私たちが耳にしているのはすべてagentic AIについてだと思います。ですから、私たちは次のステップはagentic meshだと考えています。そこでは私たちのエージェントがユーザーのために複数のことを実行し、複雑なスケジューリングや計画などを解決します。それが私たちが思い描く未来です。私たちは昨年9月の時点で、このプラットフォームに期待していたことのほとんどを達成しました。これらが機能と例です、ただし非常に限定的なものですが。
私たちにとって最も嬉しいことは、機能や成果そのものではありません。人々が来て「TELmeを使っていて、インパクトがありました」と言ってくれることです。よく営業や製品マーケティングの方々、そしてカスタマーサービスの方々から聞きます。彼らは「以前は製品に関する様々な情報を見つけるために、エンジニアリングや製品マーケティングと話すのに多くの時間を費やしていました。もうそういった会話は必要ありません。すべてTELmeから得られます」と言います。これは、TEにあるすべての製品カタログ、TEにあるすべてのデータシート、すべての設計ノート、そしてすべての技術情報をTELmeに取り込んでおり、継続的に更新しているからです。
ですから、私たちにとって最も嬉しいことは、誰かが来て「インパクトがありました」と言ってくれることです。一般的に、通常は、エンジニアリングやマーケティングと話して、顧客に何を回答すべきか見つけ出すのに1週間以上かかっていました。もうそんなことはありません。私たちの営業チーム、少なくとも私が営業チームから聞いた限りでは、本当に興奮していました。彼らは「答えを得るために多くの人に連絡する必要がもうありません。TELmeがあります」と言います。これが私たちが目にしている根本的な変化です。取り込まれている情報が、ユーザーの日々の業務を変革しているのです。
TELmeの技術的基盤：OpenSearch、Bedrock API、そしてRedisストリーミング
では、このツールの機能は何でしょうか？単一ファイルをアップロードしてインサイトを求めることができます。複数ファイル、1セッションで最大20ファイルまでアップロードして、インサイトを求めることができます。それから、基本的に約1,000万レコードの構造化データと非構造化データの両方を含む内部データがあり、そこから情報を得ることができます。それから外部モードがあります。これは基本的に他のgenerative AIツールと同じように動作します。大規模言語モデルに直接呼び出しを行います。
それからAIエージェントです。大規模言語モデルがAIエージェントを可能にし、人々が自分自身のエージェントを作成できます。当社の40,000人のユーザーの誰もがログインして、自分自身のGPTやエージェントを作成し、コストやライセンス料なしで同僚と共有できます。ただ作成して共有するだけです。これが私たちが目にしている業務の変革の方法です。人々は非常にクリエイティブになっています。ユースケースは何かと聞かれたら、私は4つか5つしか思いつかないかもしれませんが、今はユーザーに力を与えることで、彼らが自分自身のエージェントを構築しています。想像力が限界です。これが私たちが目にしている変革です。誰もがエージェントを作成し、コストやライセンス料なしで会社全体の40,000人とエージェントを共有できるのです。
それから、プロンプティングのためのゲーミフィケーションされたティーチングアシスタントがあります。これが最大の課題であり、皆さんのほとんどが同意されると確信しています。人々はまだGoogle検索の時代にいて、1つの単語を入力すれば答えが出てくると期待していますが、generative AIはそうではありません。プロンプトがどれだけ良いかに依存します。ですから、私たちのユーザーベース全体をGoogle検索の時代からgenerative AIの時代へシフトさせなければなりませんが、それはそれほど簡単ではありません。皆さんの会社でもご覧になったと思いますが、そのマインドセットをシフトさせるのはそれほど簡単ではありません。そこで私たちが考えたのは、これをゲーミフィケーションしてはどうかということです。
私たちが構築したのは、ゲーミフィケーションを取り入れたエージェントです。ユーザーはログインして、「私はプロダクトマネージャーです」「プロンプティングは初心者レベルです」または「エキスパートレベルです」と言うことができます。すると、多肢選択式の質問が出題され始め、正解すればポイントが獲得できます。間違えた場合は、何をもっと良くすべきだったのか、なぜそうすべきだったのか、どのようなプロンプティングの原則を修正すべきかについて説明が提供されます。これにより、インタラクティブな学習体験となります。月末には、すべてのポイントを集計して勝者を発表します。これは、ゲーミフィケーションを通じて、生成AI時代におけるプロンプティングの認識を高めようとしている取り組みです。
次にSharePoint統合についてですが、これは基本的にエージェントが適切なアクセス権を持つことを保証するものです。エージェントを使用する人々やナレッジストアが、SharePointへの適切なアクセス権を持つようにすることで、任意のファイルをアップロードしたり、セキュリティコントロールが全くないような状況を防ぎます。これは、SharePointに対して実装したセキュリティ強制統合です。
可用性はほぼ99.9%です。昨年9月にローンチしてから今年まで、システムをアップグレードしたい時を除いて、一日たりとも、一分たりともダウンしたことがありません。一度も落ちたことがなく、一度も失敗したことがなく、一つのコンポーネントすら故障していません。世界中どこからでも、最初のトークンまでの時間は15秒、通常は約6秒です。これは1,000万件のレコードを検索してユーザーに応答するまでの時間で、通常6秒です。OpenSearchを使えば可能です。おそらく皆さんもこのような質問を見たことがあるでしょう。「自社にこれだけのデータセットがある場合、レイテンシはどうなるのか？」OpenSearchを使えば、6秒で応答を得ることが可能です。
私たちは単一のOpenSearch呼び出しだけを行っているわけではありません。各クエリに対して、OpenSearchへの20から30の呼び出しに分割し、複数の並列呼び出しを行います。そしてそのすべてが、OpenSearchから1秒か2秒以内に完了します。これが私たちを驚かせるパフォーマンスです。私たちはいつも、AWSの皆さんに感謝していると言っています。非常に堅牢だからです。精度はピンポイントです。私たちはre-rankerを一切使用していません。なぜなら、OpenSearchの標準の箱から出したままのソリューションが非常に優れているからです。単一のクエリに対して20から30の呼び出しが並列で行われる際のレイテンシは、OpenSearchからの応答が1秒から2秒未満です。これらが、私たちが40,000人にリーチすることを可能にした強力な機能です。
それでは、アーキテクチャの部分についてですが、すみません、これについてはあまり明確にお見せしていません。左側を見ていただくと、すべてセキュリティに関するもので、IDシングルサインオンへのログインについてです。
そしてユーザーがログインすると、システムはそのユーザーを認識する必要があります。例えば、私がClass 1ユーザーであれば、Class 1ドキュメントへのアクセス権を持っているので、Class 1ドキュメントからの回答のみを見る必要があります。1000万件のドキュメントの中から、Class 1ドキュメントに対する回答のみを取得すべきなんです。もし私がClass 2ユーザーであれば、Class 1とClass 2のドキュメントからの回答のみを取得する必要があり、それ以外は何もありません。
これがセキュリティ面での2つ目の要素で、ロールベースアクセスコントロールの実装を行っています。ユーザーがログインすると、ユーザーを認証するだけでなく、そのユーザーのセキュリティロールが何なのか、Class 1ユーザーなのか、Class 2ユーザーなのか、Class 3ユーザーなのかという情報も取得します。その情報を取得して、内部的にOpenSearchデータベースでロールベースアクセスコントロールマッピングを使って処理を行います。例えばClass 1ユーザーのような人がログインすると、「これがClass 1データからのあなたへの回答です」という答えを返します。そして最後に、「30件のドキュメントにさらに多くの情報がありますが、あなたはそれらにアクセスする権限がありません。より多くの情報が必要な場合は、同僚や上司に連絡してください」と伝えます。
これが私たちが構築したセキュリティの力なんです。ここが多くの組織がデータセキュリティで苦労しているところです。ですから、私たちのセキュリティファーストの設計原則と先進的なセキュリティ体制が、常にこの製品を成功に導いてきました。適切なアクセス権と知る必要性を持つ人だけが情報を取得でき、それ以外の人は誰も取得できません。
右側に見えるのが私たちのデータパイプラインで、何百万ものドキュメントが取り込まれています。そしてドキュメントが更新または削除されるたびに、チェックアウトされて更新されます。これが私たちのデータパイプラインです。中心部分はすべてのAIエージェント、GPT、Lambda関数、そういったものすべてについてです。
では、通常何を使っているのか。私たちはOpenSearch Vector Databaseを使用していますが、これは私が見てきた中で最高のものの1つだと言いました。それからAurora DBを一般的なログとインジェクションパイプライン管理に使用しています。そしてQdrant Vector Storeを使用しています。これは、ユーザーが質問をするために例えば20個のファイルをアップロードすると、それがQdrant Vector Storeに送られるからです。そのセッションでデータを動的にベクトルストアにプッシュします。その20個のファイルを取り戻してQdrantベクトル検索に入れて、結果を生成します。
そして、もちろん、私たちはBedrock APIを使用しています。これは過去1年間で起こった私たちの根本的な変化です。私たちはすべてのAPI呼び出しをBedrock APIで統一しました。これにより、エージェントや用途に応じてモデルを切り替える必要がある時、Amazon Novaであれ、GPT 128Bオープンウェイトモデルであれ、Claudeであれ、たった一言変えるだけで済むんです。そう、これが私たちがBedrock API標準化呼び出しを導入するために行った統一化です。そして、もちろん、エンベディングにはAmazon Titanを使用しています。
エンタープライズグレードの実現：同時100人対応とコスト10分の1への最適化
Qdrantストリーミング。これは非常に、非常に重要なものです。ここではMrunalと強力なパートナーシップを結びました。始めた当初は、150人程度のPOCのようなものになる予定でした。そうしたら、経営陣が「150人じゃなくて、8,000人に対応する必要がある」と言ってきたんです。そして、それが14週間のエンドツーエンドでの納品だったんですよね。それで私たちはMrunalのところに行き、AWSに来て「8,000ユーザーに対応できるようにしてほしいという依頼を受けました」と伝えました。これは大きな要求です。
そして、このような大規模言語モデルアプリケーションを開発したことがある方ならわかると思いますが、複数のトレードオフがあります：1分あたりのトークン数、1分あたりのリクエスト数、それからコンテキスト長、ユーザーにどれだけ提供できるか、ですよね。つまり、一定の制限があるんです。1分間に200万トークンしか処理できません。10人のユーザーが消費して、会話していたら、残りはスロットルされてしまいます。では、どうやって100人、200人をサポートするのか？これらが、エンタープライズグレードの生成AIツールを構築しようとする際に直面するアーキテクチャ上のボトルネックなんです。
そこで、私たちはAWSの方々と多くの時間を費やして、堅牢なエンタープライズ生成ツールをどのように構築できるかを考えました。
ここで私たちが思いついたのが、単にLambda関数を使って出力をストリーミングするのではなく、Redisストリーミング、WebSocketストリーミングアプローチを使用するというアイデアでした。Redisは、最も高速で信頼性の高いストリーミングソリューションの1つです。そこでWebSocketストリーミングを使用しています。これにより、100人以上の同時ユーザーに対して、何の問題もなくサービスを提供できます。そして、もちろん、EC2、ECS、API Gateway、S3、Lambda、そしてそれらの標準的なコンポーネントのほとんどを使用しています。Control-Mは、ご存知の通り、パイプライン管理とバックエンドソフトウェアに使用している標準ツールの1つです。これらが、私たちが今日使用しているコア要素、基本的な構成要素です。そして、もちろん、今後進めていく中で、Agentic Bedrockの追加もおそらくご覧いただけると思います。これは私たちが現在非常にエキサイティングだと感じているもので、それも組み込まれていきます。
そして、最初の頃はパートナーシップがありました。全員がトークン制限やレート制限を希望通りに得られたわけではありませんでした。全員が開発を進めており、クラウドも開発を進めていて、それぞれに制限がありました。私たちは非常に限られたトークン、1分あたり100万トークンのようなものしかありませんでしたが、100人以上の同時ユーザーにサービスを提供する必要がありました。大規模言語モデルのすべてのトークン制限により、エンタープライズグレードのソフトウェアとして前に進むことができませんでした。そこで、私たちはMrunalとクラウドチームと協力して、これらの制限を拡張してもらいました。アーキテクチャについてはだいたいこんなところです。
それでは、これがTELmeの見た目です。そこにTeach-Meエージェントが見えますね。このツールにアクセスできるユーザーは40,000人います。毎週7,000から8,000人のアクティブユーザーがいて、システムを使用している毎日のアクティブユーザーは800人以上に近い数です。毎月10,000件以上のファイルアップロードがあり、これは増加しています。2、3ヶ月ごとに倍増し続けることを期待しています。10,000件のファイルアップロードというのは、人々がアップロードして質問したり、インサイトを生成したりしている10,000個のファイルを意味します。エンタープライズ生成ツールとしては小さなことではありません。これは多くを物語っています。それから、月ごとに60から80%のユーザー維持率があります。つまり、前月にログインした人の80%が翌月もログインしているということです。これらがメトリクスです。そしてもちろん、Mrunalが話していた採用率、エンジニアリングでの約74%の採用率は、非常に重要です。
また、アクティブなフィードバック収集も行っています。プロンプトライブラリがあるのが見えますね。なぜなら、ここで標準的なプロンプト、推奨事項、そしてそれらの使い方について人々に教えたいからです。そしてこの機能、内部データと静的な大規模言語モデルの知識の融合ですが、どの会話でも最後に、TELmeがユーザーを導いて、「ねえ、あなたが得た検索結果について外部コンテンツも見たいですか?」と尋ねているのが見えます。つまり、私たちはユーザーを内部データを取得するだけでなく、静的な大規模言語モデルの知識から利用可能な外部情報も収集するように導いています。
簡単なインサイトです。 9月にローンチしたTELme 3.0には、これらすべての機能があります。プラットフォーム全体で1,000万件のレコードとドキュメントがインデックス化されているようなもの、それから40,000人のユーザー。ファイル処理、マルチファイルアップロード機能、そして先ほどお話ししたように、月に10,000件のファイルアップロードがあり、常に成長しています。内部モードと外部モードの融合により、内部データと外部の静的言語モデルデータの融合をもたらします。それから、セキュリティファーストの姿勢が重要です。ロールベースのアクセス制御を持つことは、あらゆる生成AIやエンタープライズグレードのソフトウェアにとって鍵となります。なぜなら、多くの組織にはデータセキュリティチームがあると確信しているからです。彼らはAIに関してデータの増幅について心配しています。そのため、セキュリティが組み込まれていることを確認する必要があります。ですから、ロールベースのアクセス制御を持ち、セキュリティファーストという私たちの姿勢が、常にこのプラットフォームを安全にしてきました。
これはエンジニアリングドキュメントやエンジニアリング図面を読み取ります。私たちは独自の高度なモデルを構築しました。従来、大規模言語モデルに尋ねる場合、それがClaudeであれ、ChatGPTであれ、世界の他のどの大規模言語モデルであれ、2D図面をアップロードしてそこからインサイトを求めると、おそらく良い応答は得られないでしょう。
もしシンプルで単純なものであれば、ええ、ほとんどの大規模言語モデルで対応できますが、もしそれが複雑な図面で、膨大な数の寸法を持つ場合、100から200、200以上の寸法が図面PDFにある場合、ほとんどの場合それらは45度回転していたり、向きが変わっていたりします。中にはマークアップ用の吹き出しがあるものもあります。ほとんどの大規模言語モデルは、基本的な30%の精度すら満たすことができません。そこで私たちは独自のモデルを構築し、独自のvision transformerモデルをファインチューニングして、今日の大規模言語モデルで見られる精度を向上させました。
私たちは現在、複雑な図面に対して70から80%程度の精度を生成する独自のモデルを持っています。通常の図面については、常に90、95%以上になっています。これは大きな変革です。なぜなら、TEのような製造会社や、あらゆる産業系企業にとって、100以上の工場を持つ場合、設計は基本的にCADデータの2D図面だからです。つまり、皆さんがPDFを読むのと同じように、私たちのツールは今、設計図面を読むことができるのです。これが私たちがもたらした力です。もちろん、Amazonの方々やインフラストラクチャーからの多大な支援を受けて、これらのモデルのトレーニングなどを行いました。
それから、先ほどお話しした、エージェント開発ですが、これから進めていく中で見ていくことになるでしょう。ここの右側に、GPTsが見えますね。ChatGPTではGPTsと呼び、CopilotではAgentと呼び、LangChain StudioもAgentと呼んでいます。そうですよね？つまり、それらすべてがTELmeにあり、人々が独自のGPTsやAgentを構築して他の人と共有できるのです。これが民主化です。基本的に、誰でも構築できます。私たちは40,000人のユーザーに力をもたらしているのです。
これが私たちのGPTの見た目です。基本的なものとして、GPT名があり、エージェントが従うべき指示があります。この指示、ご覧になっているのは小さなものです。私たちはエージェントが従うべき200から300ページもの指示をそこに書いています。それから、ツールの選択があります。ウェブ検索であれ、内部検索、外部検索、あるいは自動ファイル生成であれ。つまり、私たちがツールを構築するにつれて、GPTsが機能を獲得し、人々は実行できるツールを添付できるのです。
そして、私たちはスマートドキュメントアナライザーのようなものを実装しました。これはもう一つの重要なステップです。2つのファイルがあって質問をする場合、一般的に見られるコンテキストの制限のために、良い応答が得られません。そこで私たちはスマートドキュメントアナライザーのようなものを持っており、これはシステムに20、30以上のファイルがある場合の精度を向上させるために、マルチリトリーバルを実行します。これは先月ローンチしたものです。人々は非常にクリエイティブです。彼らは独自のエージェントを構築し、会社全体で共有しています。これが会社にどれだけの生産性をもたらすか、想像もつきません。
主な成果として、 40,000人のユーザーが最小限のコスト、つまり1人あたり月額1ドル未満でGenerative AIを体験しています。これは非常に重要なことです。これはまた、おそらく商用ツールの実際の価格がどれくらいなのかを教えてくれますよね。もちろん、AWSとのパートナーシップがあったからこそ、最初から1人あたり月額1ドル未満というこの状況にあるわけではありません。10百万件のレコード、40百万のベクトルインデックスをOpenSearchに持っていた時は、コストは膨大でした。
そこで私たちは6ヶ月間、6ヶ月間、AWSと tirelesslyに協力して、コストを10分の1にしました。信じられないでしょう？以前の10分の1です。以前はもっと高く、50ケースで100倍高かったものが、embeddingの削減、そしてnon-HAインフラストラクチャの使用、さらに各ベクトルインデックスへの情報のパッキングといった厳格な最適化によって、大幅に、その10分の1にまで下がりました。
ほとんどの場合、オンラインで入手できる一般的なガイドラインに従ったり、コア開発ツールから情報を得たりすると、チャンキング戦略は最適ではありません。Titan embeddingsは最大30,000文字をサポートできますが、各ベクトルembeddingを詳しく見てみると、1つのベクトルembeddingにはわずか10から15単語程度しか入っていませんでした。ウェブ上で見られるチャンキング戦略は本物ではありません。本物はエンジニアリング最適化を通じて生まれます。だからこそ私たちはAmazonと密接に協力したのです。最初に見たものは、わずか80単語または50単語が1つのベクトルでした。私たちはAWSの方々と、1つのベクトルインデックスに十分な情報を最適にパックする方法について厳格に取り組みました。以前は80または100だったものを、1つのベクトルインデックスにほぼ8,000単語まで持っていきました。これは私たちがもたらした大幅な削減です。
これらすべての最適化により、10百万件のレコードに対する私たちのOpenSearchのコストは、最初の10分の1になりました。私たちのコストは1人あたり月額1ドル未満です。これは、この全体のストーリーにおいて、重要な成果だと言えます。今お話ししている時点で、これは私たちのカスタマーサービスと営業担当者にとってワンストップソリューションとなっています。なぜなら、すべての製品データベース、製品情報、カタログがそこにあるからです。製品コード、8桁から12桁の数字のようなものを入力するだけで、仕様を含む製品のすべての詳細を取得できます。
彼らがしなければならないのは、部品番号や注文コードを入力するだけです。これらはすべて単なる数字です。私たちはそれをTELmeに別途フィードしませんでした。ドキュメントをフィードし、適切なembedding、適切なtokenizer、適切なPDF抽出ツールを使用しただけです。人々は12桁または13桁の数字を入力するだけで、注文コード、製品仕様、製品の主要情報、主要なアプリケーションは何か、すべてが瞬時に得られます。それが私たちが持っているパワーです。
学んだ教訓：コスト最適化、ユーザートレーニング、そして精度向上への挑戦
では、この旅で学んだ教訓は何でしょうか。コスト最適化は生き方そのものです。初期段階でコストが膨れ上がっているのを見ても怖がらないでください。そうなるものです。継続的な最適化が生き方なのです。今日、私たちははるかに良い場所にいます。もし誰かが、1万ドキュメントファイルのアップロードと1000万レコードがあって、15秒未満のサブレイテンシーで、1人あたり月1ドル未満のコストだと言っているなら、それは重要な成果です。これは1日で起こったことではなく、Amazonの方々と過去5、6ヶ月の旅を通じて実現したものです。
ユーザーイネーブルメントは、皆さんの多くが直面している最大の課題です。どうやって人々をトレーニングするか。プロンプトトレーニングは不可欠です。私たちはキュレーションされたコンテンツを作成しました。人々をトレーニングしました。昨年は20回以上の複数のトレーニングセッションを実施し、5つから6つのプロンプティングの原則とその使い方を人々が理解できるようにしました。私たちはこの情報を継続的に公開しています。私たち独自の社内Viva Engageがあり、最近それらのポータルで100万のアクティブビューがあります。私たちは人々に頻繁に教えています。教え続けていますが、それでも十分ではありません。
これはコスト最適化の旅のようなものだと願っています。人々がエキスパートになるポイントがあります。しかし、もし旅の途中にいるなら、これは間違いなく私たちが注意を払わなければならないことです。技術的な複雑性も考慮事項の一つです。人々が考える基本的な仮定は、オーケー、これはClaudeモデルのラッパーか、OpenAIモデルのラッパーだろう、というものです。
そうではありません。本当のエンジニアリングは、私たちが達成したことを実現するために非常に深いところまで入り込みます。コンテキストウィンドウのバランス調整、Claudeや他のgenerativeモデルから得られるトークン制約のバランス調整、そしてレスポンス品質などを含みます。ですから、これらすべてのこと、複雑性は膨大です。間違いなくエキスパートAIチームが必要です。
データ品質、そうですね。これは誰もが直面する最大の課題です。LLMがより多くを知れば知るほど、より問題も多くなります。その理由は、データからパターンを拾い上げて質問に答え始めるからです。ですから、時々私たちはそれがハルシネーションだと思います。large language modelに質問を投げ返します。ねえ、なぜこの回答をしたの。正しくないよ。ハルシネーションしてるの。すると、いいえ、いいえ、私がそれを選んだのは、私が見た他のデータセットに関連してこのデータのパターンがあるからです。パターンが見えています。だから私はこれが正しい答えだと感じたのです、と教えてくれます。
さて、ハルシネーションはコントロールできます。なぜならプロンプティング技術があるからです。ハルシネーションは修正できますが、LLMがパターンを拾ってしまうことをどうやって修正できるでしょうか？これは難しくなります。本当のエンジニアリングが始まるのは、データがどんどん増えていって、大規模言語モデルとその振る舞いをコントロールしなければならなくなった時です。これが、小規模から始めてエンタープライズグレードのソフトウェアになっていく際に人々が直面することです。そこで人々は学び始めます。そして、これをより良くする方法を私たちが学んでいるのもここなのです。
精度。これが最大の課題であり、今後の課題でもあります。Bedrock Agentic Coreが入力検証機能と共に登場することで、大きな一歩になると確信しています。よくユーザーから質問を受けます。十分に正確ですか？これを信頼できますか？という質問です。そこで私たちが行っているのは、回答の前に内部検証ステップを実施することです。それでも、80%、86%、87%の精度しか見られないんです。特にエージェント型AIで意思決定をしなければならない場合、どうやって100%に非常に近い精度を確保できるでしょうか？これらの数字では十分ではありません。80%では十分ではないのです。99%に非常に近い数字でなければなりません。
これが私たちが学んでいる課題です。そして、生成AIの応答に対する評価フレームワークとは何か、RAGASであれ、新しく進化している何かであれ。ですから、私たちはテクノロジーにおけるこれらの変化する状況を評価しようとしています。それらを取り入れて、何がベストかを学ぼうとしています。そして、Bedrock Agentic Coreに検証機能が入ってくるのを見て心強く思いました。うまくいけば、これで私たちの問題が解決するでしょう。外部に出てオープンソースのフレームワークを持ってきて検証を行う必要がなくなります。このBedrock agentで、今や問題を解決できるはずです。
さて、改めて、エージェントの有効性とは何でしょうか？ROIとは何でしょうか？これらは私たちが構築する必要があるフレームワークであり、この旅を進めていく中で成熟していくでしょう。ということで、ご清聴ありがとうございました。そして、皆さんのような専門家の方々と有意義な会話ができることを楽しみにしています。皆さんの組織で、あるいは皆さん自身が生成AIに関してどのようなことをされているのか、ぜひ学ばせていただきたいと思います。もっと学び、おそらくもっと共有したいと思っています。ここで一緒に成長できるのです。そして、ここにいてくださってありがとうございます。本当に感謝しています。それでは引き継ぎます。
※ こちらの記事は Amazon Bedrock を利用し、元動画の情報をできる限り維持しつつ自動で作成しています。
Discussion