📖

re:Invent 2025: NVIDIA Nemo Agent ToolkitとAWSによる生成AIエージェントの本番実装

に公開
2025/12/08

はじめに

海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら!

re:Invent 2025 の書き起こし記事については、こちらの Spreadsheet に情報をまとめています。合わせてご確認ください

📖 re:Invent 2025: AWS re:Invent 2025 - Tapping into the Power of Agentic AI: Driving Mission Success with NVIDIA & AWS

この動画では、NVIDIAとAWSによる生成AIエージェント設計について解説されています。NVIDIA Nemo Agent ToolkitやNVIDIA Inference Microservices(NIM)などのモジュール化されたツールを活用し、本番環境への実装を加速させる方法が紹介されます。エージェント設計における課題として、トークンの指数関数的増加、データガバナンス、セキュリティの複雑さが挙げられ、POCから本番環境へのスケールアウト時の落とし穴を回避する重要性が強調されます。Nemo Curatorによる16倍の高速化、57パーセント少ないコード行数、ほぼ2倍高速な応答時間など具体的なメトリクスが示され、LangChainやSemantic Kernelなどフレームワークに依存しない設計思想が説明されます。EKSでのデプロイメント方法やbuild.nvidia.comでの実践的な活用法も紹介されています。

https://www.youtube.com/watch?v=xDXsN9hYmlo
※ こちらは既存の講演の内容を最大限維持しつつ自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますのでご留意下さい。

本編

Thumbnail 0

NVIDIAとAWSのパートナーシップによる生成AIエージェント設計の基礎

こんにちは、こんにちは。参加していただきありがとうございます。音声がちゃんと聞こえていて、NVIDIA と AWS によるミッション成功のためのエージェント設計について学ぶ準備ができていることを願っています。これは長い間取り組んできた強いパートナーシップで、ますます深まっています。

Thumbnail 20

NVIDIA と AWS のことを考えると、私たちは一心同体です。今日は、特に生成 AI のエージェント設計についてお話しします。これは非常に重要で、かなり前からのことのように思えますが、日付を見ると、生成 AI の採用は 2023 年 1 月に始まりました。人々は LLM に慣れ、人間の言語を使って非常に高度な科学モデルと相互作用することに慣れてきました。

進んでいくにつれて、科学者と人間のユーザーは RAG と相互作用し始め、これらの汎用モデルの有効性を高めることができるようになりました。これは非常に重要です。ミッション成功のために何かを作成したいので、そこで RAG が登場しました。次にパラメータ効率的なファインチューニングが登場し、その後エージェントが登場しました。これは私たちが行っていることの自然な進行です。

Thumbnail 30

エージェントが本当に重要なのは、多くのハイパーフォーカスされた、知的に設計されたモデルのサブセットを別のモデルによってオーケストレーションするためにまとめるからです。進んでいくにつれて、エージェントを単なる 1 つのモノリシックな存在ではなく、巨大なエコシステムとして考えることが非常に重要です。

Thumbnail 90

それが何であるかについて直接飛び込む前に、私たちが進むにつれてあなたが頭を抱えないように、いくつかの用語を投げかけたいと思います。これは、生成 AI プロセス、AIML パイプライン、そして最終的には AI エージェント設計をどのようにまとめるかについての NVIDIA の用語です。NEMO は neural modules の略です。10 年以上前に、機械学習パイプラインプロセスのモジュール化を特定しました。これは非常に重要です。なぜなら、それは単一の科学的プロセスではないからです。途中の各ステップを最適化する必要があります。そうしないとパフォーマンスが低下します。

NEMO Agent Toolkit は、エージェント設計のために NEMO モジュールを特に使用しています。NVIDIA Inference Microservices、つまり NIM はコンテナです。最も重要なのは、これらは frontier モデルまたは Hugging Face モデルの最適化されたコンテナで、NVIDIA ドライバパッケージ、Spark 処理用の RAPIDS、大規模データジョブなどが含まれています。それぞれの内容は異なりますが、コードの1行を変更するだけで非常に高速に推論を実行できます。

Blueprint は複数のコンテナをまとめたもので、実装には Kubernetes が必要です。つまり、Blueprint は Helm チャートと NIM のような複数のコンテナの実装に対する私たちの用語です。これにより、機械学習パイプラインの効果的な設計が得られるので、そのままリフト・アンド・シフトして自分たちのプロセスに組み込むことができます。最終的な目標は、「スケール」という言葉をたくさん使うこと、「高速化コンピューティング」をたくさん使うことで、本番環境に導入することです。本当に優れたものから始めるのは非常に簡単ですが、スケールアウトし始めると、多くのことが増幅され、間違った方法で実行される可能性があります。

Thumbnail 190

エージェントの仕組みと本番環境導入における課題

では、エージェントとは何でしょうか?どのような見た目で、どのように機能するのでしょうか?私たちはこれについてよく聞きます。ここでは、中央にアバターがあり、これは一種のオーケストレーターエージェントで、何をすべきかを指示しています。エージェント設計には複数の要素が関わっています。ツール使用、コンピュータ使用があります。メモリは非常に重要です。エージェントを使用すると、そのメモリはすぐに満杯になります。他のエージェントが相互に話し合い、相互作用し始めます。これもまたエコシステムです。そして、その人間が入力プロンプトです。その後、トークンを作成し、さらに処理を行います。

多くの人は気づいていないかもしれません。もしかしたら開発者カンファレンスにいるかもしれませんが、実はエージェントはトークンの指数関数的な増加を持っています。その推論は単にどんどんトークンを生成しているだけです。人間としては、モデルに思考プロセスを見せるよう求めない限り、それを見ることはありません。ですから、これが全体的な状況の複雑さにつながります。

Thumbnail 240

本番環境に導入しようとしているエージェントには、多くのレガシーコード、既存のパイプライン、そしてあらゆる種類のソースから来ている異種のデータがあります。それを確実に機能させるのはかなり難しく、事前に考えておく必要があります。これは一種の防御的プログラミング、防御的データサイエンスのようなものです。そこに到達する前に落とし穴を予想しているのです。なぜなら、何が起こるかというと、溝に陥ってしまうからです。

Thumbnail 270

スケールが大きくなればなるほど、その溝はどんどん深くなり、広がっていきます。そして本当にたくさんの落とし穴が生じるんです。最悪なのは、素晴らしい POC を作ったのに、ステークホルダーからの支持を得て、投資も受けて、みんなが応援してくれているのに、その後進めていくにつれてパフォーマンスが低下し始めるということです。なぜなら、データのガバナンスが難しくなり、プロファイリングも難しくなるからです。そして、エージェントのセキュリティは本当に難しいんです。なぜなら、人間も認証が必要ですし、コンピュータも大規模で迅速に認証される必要があるからです。

Thumbnail 320

これらすべての考慮事項は、本番レベルに進む際に考慮され、対処される必要があります。では、この溝を避けて、その方法をお見せしましょう。これは簡略化されたチャットボットです。 かなり多くの矢印があり、このプロセスを理解するには相当な学習が必要です。しかし、機械学習パイプラインのプロセスを理解することは非常に重要で、すべてがどこに行くのかを知ることは必須です。もし POC からこれをスケールアウトしたいのであれば、おそらく白いボックス 1 つ 1 つが 10 個以上のものを表していて、その上にどんどんプロセスが積み重なっていくんです。

そうなると、すべてを 10 倍にしているので、本当にたくさんの問題に直面し始めます。すべての問題が増幅され、誰もがそれを見ることになります。最後に望むことは、ユーザーがあなたの製品を使ってすぐに失敗することです。私たちは最高の開発者体験を提供したいのです。NVIDIA はコードを書く人々のため、そしてコードを書く企業のために物を作っています。私たちは、サービス、ソフトウェアフレームワーク、SDK をそれらの開発者の手に渡したいので、本番パイプラインに実装できるようにしたいのです。

Thumbnail 340

NVIDIA Nemoによるエージェント開発の加速とデータフライホイール

NVIDIA Nemo blueprints と同様のツールの最良の点は、ほとんどが無料だということです。GitHub に行ってそれらを使うことができます。開発者ライセンスで行くことができます。これは単に NGC コンテナレジストリへのログインで、これらのいずれかをプルして使用できます。図では、NVIDIA Nemo があり、これは異なるプロセスのそれぞれを表しています。下から上へ来ると、人々は GPU と加速コンピューティングから始まります。これは非常に重要です。しかし、購入したもの、または AWS で使用しているものから最高のパフォーマンスを得るためには、そのための加速ライブラリを使用する必要があります。

Thumbnail 450

私たちはこれらを無料で提供しているので、すべてが正しく実行されていることを確認するために、まったく新しいスキルセットを学ぶ必要はありません。理解と推論、AI セーフティ、そしてこれらすべての問題は、NVIDIA Nemo エージェントツールキットで横切る線で対処されています。これはエージェントのパイプラインを加速させるための項目化されたモジュールの集合です。上部には Kubernetes Helm チャート設計を備えたさまざまなタイプのブループリントがあります。下から上へ作業して、これらすべてを組み立てることができ、私たちはすべての機械学習パイプラインをあなたのために整理しています。モジュール化されているので、プラグアンドプレイできます。NVIDIA Nemo パッケージを使用してから、他のフレームワークと一緒に作業できます。私たちはフレームワークに依存しません。

機械学習とAIについて話すときは、「サイエンス」という言葉をよく使うんですが、それは人間の言語と相互作用していても、結局のところコンピュータと相互作用しているということを忘れないことが非常に重要だと思うからです。そのコンピュータは何かをするように教えられる必要があり、創意工夫を凝らし、それを修正し、どこを加速させるかを特定するのは人間の責任です。コンピュータは自分がどこで失敗しているかは知りません。ほとんどの場合、ランダムなエラーを出すだけですし、エラーが出ることさえあるかどうか分かりません。ですから、ここからスタートして、データをきちんと積み重ねた状態で、このフライホイールの周りを回転させ始めるんです。

ここにあるすべてのものは、エージェンティックAI設計の科学的プロセスの一部として非常に重要です。自分の独自のデータに基づいてデータをキュレーションしてカスタマイズしたいですし、それを評価して品質が良いことを確認したいです。ガードレールを実装することは良い考えだと思います。暴走させたくないし、ハルシネーションを起こさせたくないし、データドリフトを経験させたくないなど、こういった大きな問題があります。最後に、それを解決して、NIMを作成し、コンテナを作成します。これで信頼できる処理のスナップショットが得られ、それをプラグアンドプレイで使用できます。コンテナを使って作業するのは非常に簡単ですし、更新も容易です。

Thumbnail 520

データフライホイールは自己持続的です。次に、エージェンティック設計に含まれていた、いくつかのことを指摘したいと思います。読みにくかったら申し訳ありませんが、このフレームワークはアグノスティックです。LangChainを使っているなら、それで素晴らしいです。他のものを使っているなら、それも素晴らしいです。私たちはあなたをサポートするためにここにいます。Semantic Kernelもクールです。YAMLは今まで相互作用したことがなければ難しいかもしれませんが、一度慣れると、変更するのはかなり簡単です。Pythonを使ってYAMLと相互作用することもできます。これを使って作業する方法はたくさんあります。

Thumbnail 560

セキュリティと安全性は本当に重要です。評価も同様に重要です。MCPやカスタムプラグインのようなエージェンティックエコシステムコネクタは、私たちがサポートしたいものです。あなたがそれらを書く必要があるというストレスを軽減したいので、私たちはそれらをあなたに提供して、これらすべてのツールを接続し始めることができるようにします。これにより、パイプラインから最高の加速された本番環境が実現され、ステークホルダーがより満足し、ステークホルダーの支持が得られます。これはフライホイールであると同時に、ゴートゥーマーケット戦略でもあります。

ここにいくつかのメトリクスがあります。コーダーとして、私は57パーセント少ないコード行数について考えるのが好きです。それは開発時間と専門知識の数週間であり、今ではそれを削減できたので、実際にサービスと本番環境を実装することに取り組むことができます。より高いスループットは非常に重要です。それはトークン化です。トークンの量を加速させるとき、それはより速く、レイテンシが低く、どのように使用するかに応じて、おそらくより少ないコンピュートを使用することもできます。そして、より高速な応答時間があります。

Thumbnail 620

これはヘルスケア向けの仮想アシスタント、つまりヘルスケアのためのブループリントに特化したものです。患者として考えると、レスポンスタイムがほぼ2倍高速化されるのは本当に素晴らしいです。他にも注目すべきメトリクスがいくつかあります:

Nemo Curator は以前、CPU ベースのデータマンジングとデータ処理に依存していました。これは素晴らしいのですが、処理速度には限界があります。その代わりに GPU で加速コンピューティングを使ってデータを処理し始めると、この例では 16 倍の高速化が実現します。これは非常に高速で、モデル構築に素早く到達することができます。データをクリーンアップして、処理されるのをただ眺めているほど退屈なことはありません。私は単にデータを準備して眺めるのではなく、データを実装する段階に到達したいのです。データパイプライン、重複排除、そして大規模なデータセットを一度に処理することは非常に重要です。待ったり、チャンク分割したりするのではなく。本当に面白い部分に到達して、Python API で開発したいのです。Python は非常に優れた言語で、ほぼどこにでもあります。API 呼び出しはどこにでもあるので、できるだけシンプルに保つようにしています。

Thumbnail 680

Nemo のカスタマイズは非常に重要です。なぜなら、自分のデータでモデルをカスタマイズしたいからです。汎用モデルを非常に特殊なものに適用しようとするほど大きな落とし穴はありません。そうすると、パフォーマンスが得られず、人間として望む結果が得られません。汎用的なアイデアを与えるだけになってしまいます。エージェントは、その汎用性を減らし、すべてを非常に特殊なものにするために設計されています。

Thumbnail 710

Nemo カスタマイズアーキテクチャは、それを別の角度から見る方法です。いくつかのメトリクスを示しましたが、カスタマイズアーキテクチャを見ると、パラメータ効率的ファインチューニングまたは Low Rank Adaptation があります。これらについて聞いたことがあれば素晴らしいです。なぜなら、それがエージェントに結びついているからです。汎用モデルのサブセットを作成して、それを独自のデータに対して非常に特殊化させるのです。これが最良の方法です。ここで「training type」と書かれているところを見ると、LoRA と入力するだけで、ファインチューニングができます。残りはすべて自動で行われます。

Thumbnail 750

別の見方をすると、これはある程度直線的ですが、最後に到達すると、たくさんのフライホイールが回転して、それについて考えるようになります。これはすべて反復的なプロセスです。実行ボタンを押すか送信して、それで完了、あとは DBA のように座って眺めているだけという時代は終わりました。今では DBA でさえ、すべてのことに対話的に関わる必要があります。私たちを常に気を張らせていますが、本当に楽しいです。なぜなら、本当に素晴らしいソフトウェアと製品が生み出されている量は驚異的だからです。非常に有用です。エクスポの周りを見回してみてください。このような実装がたくさん見つかります。

Thumbnail 810

Nemo についてはかなり興味深いんです。皆さんご存知ないかもしれませんが、NVIDIA のソフトウェア、例えば frameworks や SDKs は、AWS スタックの多くのサービスなど、皆さんが使っているたくさんのサービスにすでに存在しているんです。例えば search を開くと、私たちはそこに実装されたばかりです。このようなことが続いていくわけです。このフライホイールのことを頭に入れておいてください。結局のところ、私たちは Nemo processing を通じて、agent toolkit を使って最適化されたエージェントを作成してきました。

Thumbnail 840

さて、このエージェント toolkit にはすべてが含まれています。モジュール化されていて、そのまま使うことができ、すぐに使える状態です。問題を修正するためにどこに行けばいいのか、あるいは新しいプロセスをどう書くのかについて心配する必要はありません。それはすべて完成しています。皆さんはプロセスを実装するだけで、それはずっと楽しいです。良い開発者体験を作ることが、良い AI エージェントを作ることの鍵です。

Thumbnail 870

AWSスタックでのデプロイメントとbuild.nvidia.comの活用

では、これらすべてをどこで見つけることができ、どのように使うことができるのでしょうか?皆さんが使いたいどのような framework でも、ここにたくさんリストアップしています。これらのいずれかの framework で作業している場合、それは素晴らしいです。使っていないものがあれば、私たちに連絡してください。NVIDIA について言えることの一つは、皆さんの最も難しい問題を知りたいということです。皆さんが何に苦労しているにせよ、NVIDIA の代表者を見つけることができれば、私たちはいつも電話に出ます。その問題を修正するために皆さんと一緒に取り組みます。私たちが話してきたことの多くをどこにデプロイできるのでしょうか?

まあ、基本的には AWS compute スタックのほぼすべての場所です。特にスケールしていく際には EKS をお勧めします。EKS は本当に、皆さんの blueprint design のようなものをデプロイするための簡単なボタンになります。そしてエージェントは本当に Kubernetes での blueprint です。エージェントを実装するために、背後で多くの作業が行われています。そこから最高のパフォーマンスを得たいですよね。また、telemetry も欲しいです。物事がどのように実行されているのか、そしてプロファイリングを見たいです。AWS はそれを簡単にしてくれます。そして AWS との私たちのパートナーシップは、多くの問題を軽減するのに役立ちます。SageMaker についても言及したいです。これは皆さんが取り組んでいることを開発し、設計するための素晴らしい場所です。

Thumbnail 930

私たちは marketplace にいます。そして先ほど人々が top secret implementations について話しているのを聞きました。実は私たちは ICMP に実装されており、Marketplace にもそこでのオファリングがあります。また商用オプションもあります。皆さんは private offer を通じて、あるいは単にサービスを使いたいのであれば、そうすることができ、runtime を使うことができます。どこにいようとも、私たちを見つけることができます。

向こうに大きなブースがあるので、まだ見ていない方はぜひ見てみてください。ブース番号は10:22です。さっき説明したトピックの多くをカバーしています。大規模な環境の再構築というのは本当にクールなことだと思います。生成AIやその他のモデルと相互作用する最良の方法は、実際に動作しているのを見ることです。テキストベースだと、なかなか理解しづらいんですよね。コンピュータビジョンでどのような動作をするのか、そして今はVLMなどもありますが、実際に見ることで、何が得られるのかをうまく示すことができます。また、edge to cloud vision と AI agents もあります。これらは非常に重要です。

Thumbnail 990

本当に素晴らしいのは、私たちのブースにいるスタッフは、これらのソリューションに実際に取り組んだエンジニアたちだということです。ぜひ深く掘り下げて、難しい質問をしてください。もし興味があれば、好きなだけ話をすることができます。私たちのサービス、ソフトウェア、SDK とどこで相互作用できるかについて、ちょっとこれを表示しておきたいと思います。左側には marketplace があり、そこで私たちが掲載しているものを見ることができます。AWS と NVIDIA のテックブログがあり、例えば SageMaker で Nemo fine-tuning を実装する方法が載っています。全体的な設計ウォークスルーがあり、それを使って AI agent を作成し、EKS で実行する方法を示しています。必要なのはあなたのデータだけです。もしくは、チュートリアルを実行したいだけなら、それでも大丈夫です。いつも良い出発点になります。

最後に、build.video.com をぜひチェックしてみてください。本当に何時間でも遊べます。これは私たちが作成し続けているすべての NEM とブループリントの生成AI プレイグラウンドです。今では数百個がそこにあり、私たちは常に新しいものを作成しています。掲載されているものを見て、それについて読むだけでなく、そこで動作させる方法についての技術ドキュメントも得られます。実際に遊ぶことができ、ワンクリックで API キーを作成して、そのコードをコピーして本番環境に入れることができます。非常にシンプルです。私たちがすべての複雑な部分を取り除いたので、あなたはそれを使うだけで大丈夫です。

時間がまだあるので、API キーが何であるか、そして NIEM、つまり NVIDIA Inference Microservice コンテナとどのように相互作用しているかについて、もう少し詳しく説明したいと思います。その方法で生成AI モデルを呼び出すとき、私たちは OpenAI プロトコルを使用しています。非常にシンプルです。なぜなら、使いたいモデルなど、方向を変えるだけだからです。それはコードの1行を変えるだけです。2行目は API キーで、これはコピーペーストです。その後、完了です。fine-tuning やトレーニングタイプの LoRA をしたい場合は、3行のコードです。これを理解するのに何週間も費やす必要はなく、ゼロから作成する必要もありません。

科学論文を読んで、自分たちでコードを書くのが好きな人もいると思いますが、ゼロから始める必要があるでしょうか。既存のフレームワークを使用できるのに。では、ここまでとさせていただきます。本日はお招きいただきありがとうございました。皆様のお時間をいただき、感謝申し上げます。素晴らしい展示会になることを願っています。


※ こちらの記事は Amazon Bedrock を利用し、元動画の情報をできる限り維持しつつ自動で作成しています。

Discussion