Zenn
🔖

「Google Cloud Next '25 Developer Keynote」の文字起こし

に公開
Google Cloud Next
tech

「Google Cloud Next '25 Developer Keynote」の文字起こしテキストを、読みやすいようにGemini2.5を使って整形しました。

Google Cloud Next '25 開発者基調講演 - YouTube

(出典: https://www.youtube.com/watch?v=xLDSuXD8Mls)

イントロダクション (ブラッド・カルダー)

皆さん、こんにちは。開発者基調講演へようこそ。お待ちしておりました。今日は、Google Cloud がソフトウェア開発をどのように変革しているかについてお話できることを楽しみにしています。

私たちは 3 つの主要な分野で革新を進めています。

  1. 次世代エージェントアプリケーションの構築:

    • AI を利用したサービスである「エージェント」を構築する能力を提供します。
    • これらのエージェントは、計画を立て、学習し、ユーザーに代わって目標を達成するために協力して行動できます。
    • エージェントをアプリケーションの重要な部分として組み込み、クラウドスタックとシームレスに統合できます。
    • Next では、新しいフレームワークと製品として以下を発表します。
      • エージェント開発キット (ADK): エージェントの構築を支援します。
      • エージェントエンジン: エージェントの実行を支援します。
      • エージェントスペース: ユーザーがエージェントと対話できるようにします。
    • これらを組み合わせることで、エージェントとユーザーが共通の目標達成のために連携できるアプリケーションを作成できます。

  2. 開発者の生産性向上:

    • コードアシストエージェントとクラウドアシストエージェントを使用して、開発者の生産性を最大限に高めます。
    • これらのエージェントにより、開発を加速し、ソフトウェア開発ライフサイクル全体にわたるクラウド運用を合理化できます。

  3. Gemini モデルによる強化:

    • これらすべてのイノベーションは、Gemini モデルによって強化されます。
    • Gemini の大規模なコンテキストウィンドウとマルチモーダルサポートを活用できます。
    • ビデオ、画像、音声をデータとシームレスに統合し、深い没入感のあるリアルタイムな洞察と体験を作成できます。

今日の基調講演では、これらすべてのイノベーションから皆さんがどのように利益を得られるかをお見せします。そのために、2人の特別なゲスト、リチャード・シュローダーとステファニー・ウォンをステージに呼びます。

基調講演の開始 (リチャード・シュローダー & ステファニー・ウォン)

リチャード: ありがとう、ブラッド。再びここに来られて素晴らしいです。ラスベガスの皆さん、ライブストリームを見ている皆さん、そしてこのイベントを実現するために尽力してくれた舞台裏の何百人もの人々に感謝します。さて、今日は Google にどのようなものがあるのでしょうか？

ステファニー: はい、多くの開発者から、Google Cloud が優れたソフトウェアの構築に役立つ最善の方法を知りたいという声をいただいています。それが今日紹介する内容です。開始からスケーリング、そして最新の機能による将来の展望までを紹介します。

リチャード: 素晴らしい。デモがたくさんありますね。始めましょう。ステフ、最初に何を見せてくれますか？

ステファニー: 開発者の皆さんに、Google Cloud と Gemini を使ってエージェントを含むものをどのように構築できるかをお見せします。それはモデルから始まります。実際、Gemini は開発者に最長のコンテキストウィンドウと双方向マルチモーダル機能を提供しています。皆さんも AI Studio で Gemini 1.5 Pro を含む最新モデルを試すことができます。実際に動作を見てみましょう。

デモ 1: AI Studio と Gemini を使ったキッチンリフォーム計画 (ペイジ・ベイリー & ローガン・キルパトリック)

ローガン: わかりました、デモデスクへようこそ。ペイジ・ベイリーとローガン・キルパトリックです。皆さん、これから数分間で Gemini を使用して AI 対応アプリケーションを構築する方法を紹介します。AI を使った構築はどこから始まるのでしょうか？多くの場合、単純な質問から始まります。「モデルはこの問題を解決するのに役立つか？」と。

ペイジ: そう、まさにそこに Google AI Studio が登場します。何でも迅速にプロトタイプを作成できる場所です。ローガン、昨日の UI 更新のような新機能について教えていただけますか？

ローガン: 質問は常に「AI Studio の新機能は何か？」だと思います。素晴らしい新しい UI を出荷したばかりです。最新の Gemini 実験モデル、エージェント的に機能するツールとしての Google 検索、ネイティブ画像の編集や生成などの新しいモデル機能もあります。ペイジ、試してみたい AI アプリのアイデアがあったと思いますね。

ペイジ: 今日はマルチタスクです。長い間キッチンを改造したいと思っていました。Gemini が手伝ってくれると確信していますが、私はエンジニアであってゼネコンではありません。規制や配線、電気工事など、どこから始めればいいのかさえわかりません。ここで AI が役に立ちそうです。

ローガン: できると思います。Gemini を使ってこの問題を解決しましょう。

  1. Gemini に非常に詳細なスタータープロンプトを生成してもらいます。
  2. 改修計画をまとめてもらいます。
  3. Gemini を使って実際にその改修がどのようなものになるか視覚化できるか確認します。

ペイジ: 素晴らしい 3 ステップです。Google AI Studio に行って始めましょう。ここでは、Gemini が短い説明から作成した非常に詳細なプロンプトを見ることができます。現在のキッチンの寸法、予算、プロジェクトの範囲、カウンタートップ、キャビネットなど、私が考えもしなかった詳細が含まれています。これは改修プロジェクトを始めるのに役立ちます。右側にはモデルが表示され、マウスオーバーすると遅延などの追加の洞察やコストなどの詳細も得られます。

ローガン: このプロンプトをコピーして、キッチンの写真や間取り図などの非構造化データがある別のタブに移動し、Gemini に送信して改修をキックスタートさせましょう。
(Gemini が計画を生成。65,000 トークン出力、思考モデル、推論プロセスについて説明)
Gemini が舞台裏で何をしているか見てみましょう。推論モデルを使用しており、最終的な改修計画を提供する前に考慮すべき様々な事柄を検討しています。

ペイジ: この思考セクションでは、情報収集戦略が見られます。シアトルのコストや地域の規制などの情報が引き込まれています。スケッチした平面図に基づいて、レイアウトや材料に関する仮定の賛否両論が示されています。

ローガン: Google 検索によるグラウンディングを使用しています。モデルが最新の材料費や現地の規制・規範など、ユーザーが知らない可能性のある情報を取り込めることを意味します。これにより、理論的な計画ではなく、現実に根ざした実用的な計画になります。

ペイジ: 説明されていることを視覚化したいです。Gemini が手伝ってくれると言いましたね？

ローガン: そうですね。改修後の姿を実際に確認できなければ、AI 改修のユースケースは完成しません。3 番目のタブに移動しましょう。キッチンの写真と、Gemini が生成した詳細なプロンプトがあります。
(Gemini 2.0 Flash を使用した画像生成のデモ)

ペイジ: すごい！私のレイアウトを採用し、元の写真のドアも残しつつ、新しいストーブと美しいピーターグリーンのバックスプラッシュ（新しく覚えた言葉です）を追加してくれました。素敵で風通しが良く見えますが、照明があまり見えません。Gemini にチューブグローブライトを追加するように依頼してみましょう。

ローガン: できます。最初のプロンプトが詳細だったので、2 番目のプロンプトでは「上部にライトを追加」という 1 つの変更だけを明示的に要求できます。
(ライトが追加された画像の生成)

ペイジ: 素晴らしい！美しい地球儀ライトです。これをまとめてゼネコンに送るのが楽しみです。

ローガン: これが Gemini のパワーです。ビデオ理解からネイティブ画像生成、Google 検索による情報グラウンディングまで、すべてが一体となっています。これらは Gemini でしか構築できないものです。そして、すべては AI Studio から始まります。ここからプロトタイプを取得し、API キーを取得して、Google Cloud と Vertex AI の力で完全なアプリケーションにスケールアウトできます。

ペイジ: リノベーション仲間でいてくれてありがとう！

ローガン: とても楽しかったです。次はあなたのキッチンをやりますよ！

Gemini の機能とコーディングへの応用

リチャード: 素晴らしいデモでした。元のキッチンが少し…まあ、コメントは控えます。でも、自分で DIY したくなるかもしれませんね。かなり素晴らしいユースケースでしたが、AI を自分で使おうと思っていた方法ではありませんでした。

ステファニー: つまり、古い家の再放送は見ないということですね？

リチャード: 再放送を見るには、まず本放送を見なければなりませんからね。さてペイジ、Gemini の長いコンテキストウィンドウを何に使っていますか？

ペイジ: 長いコンテキストウィンドウは本当に素晴らしいです。この例では写真やスケッチを使いましたが、完全なビデオやコードベースを取り込んでプロジェクトで使用することもできます。特にお気に入りの IDE で詳細なコード生成を行う際に役立ちます。

リチャード: 簡単に始められる点も良いですが、機能について学べば学ぶほど体験が向上しますね。ネイティブ画像生成で何ができるか、非常に楽しみです。

ペイジ: フロアプランやスペースを変更できます。マンションの改修だけでなく、様々なプロジェクトを想像すると魔法のようです。ツールとして検索を取り込み、グラウンディングできるのが特に気に入っています。エージェントを追加して複数ステップのプロセスを自動化できるのも素晴らしいです。

リチャード: マルチモーダルな推論、長いコンテキストは重要ですね。でもステフ、私はソフトウェアエンジニアです。建設エンジニアではありません。コーディングと Gemini 1.5 Pro に興奮しています。

ステファニー: コーディングがすごいんです。あなたが建設エンジニアじゃなくて本当に良かったです。

リチャード: 世界はより安全な場所です。

ステファニー: コーディングの応答品質の高さから、非常に多くの開発者がこのモデルに注目しています。ローガン、どうしてこれが可能になったのですか？

ローガン: 素晴らしい質問です。デモでは見せませんでしたが、私たちは皆、新しいコーディング機能をいじって多くの時間を費やしています。これは Gemini のユニークな機能、つまり長いコンテキスト、ネイティブマルチモーダル、ネイティブ検索などが組み合わさった結果だと思います。以前は不可能だった多くのコードユースケースを実行できます。それに加えて、トレーニング前、トレーニング後、推論における多くのイノベーションがあります。

リチャード: ありがとう、ローガンとペイジ。素晴らしいスタートです。

エージェントの構築と Agent Development Kit (ADK)

ステファニー: このショー全体でビルダーのために構築していますが、これは完璧な導入でしたね。

リチャード: 次は、Gemini を使って場所のスタイルを変更する方法を支援しますが、エージェントはここで何ができるでしょうか？この種のビジネスを拡大するために何ができますか？

ステファニー: エージェントはプロセスを自動化し、まったく新しいユースケースを解放し、日常業務のやり方を改善できます。

リチャード: 100万ドルの質問ですが、エージェントとは一体何ですか？どう定義していますか？

ステファニー: そこから始めるべきですね。エージェントは、AI モデルと対話し、備えられたツールとコンテキストを使用して目標ベースの操作を実行するサービスです。エージェントは多くの目標達成に役立ちます。タスクを自動化するもの、自律的に、または人間の助けを借りて複雑な問題を解決するものなどがあります。

リチャード: なるほど。エージェントの構築はサービスの構築に似ていますが、古典的なcronジョブやWebサービスを超えるユニークな特性がありますね。

ステファニー: 例を見てみましょう。ペイジのキッチンリフォームのアイデアを思い出してください。建築基準法の検証や許可の検索などのタスクを入力として処理することで、請負業者を支援するエージェントを作成します。ペイジのアイデアと平面図などの文書を使用します。エージェントの目標は、ペイジと共有できるPDF提案書を生成し、できれば彼女のビジネスを勝ち取ることです。

リチャード: 大幅な時間の節約になりそうですね。エージェントを上手に構築するための最善の方法は何ですか？Vertex AI から始めるのでしょうか？

ステファニー: もちろんです。Vertex AI は、AI アプリケーションとエージェントの構築・管理、モデルのトレーニング・デプロイのためのエンドツーエンドプラットフォームです。

リチャード: では、Vertex AI を使ってエージェントを構築する場合、具体的にどう始めればよいですか？

ステファニー: 素晴らしい質問ですね。そのために私がいます。新しいオープンソースの エージェント開発キット (ADK) を紹介します。これはモデルに依存せず、モデルコンテキストプロトコル (MCP) をサポートしています。開発者がエージェントを簡単に構築できるようにします。方法を見てみましょう。フラン・ヘケルマン博士をデモステージに歓迎します。

デモ 2: Agent Development Kit (ADK) によるエージェント構築 (フラン・ヘケルマン博士)

フラン: リチャードとステファニーに感謝します。リリースしたばかりの ADK の素晴らしさをお見せします。Gemini と Vertex AI を使用して ADK でエージェントを構築するには、3 つのものが必要です。

  1. 指示 (Instructions): エージェントの目標を定義します。
  2. ツール (Tools): エージェントが単純な LLM 呼び出しや API 呼び出しを超えたアクションを実行できるようにします。
  3. モデル (Model): すべての LLM タスクを処理し、ツールの呼び出しを担当します。

ADK では、モデルコンテキストプロトコル (MCP) をサポートしています。MCP は、LLM がデータ要求を処理するために必要なすべての情報の標準化された構造と形式を作成します。これにより、エージェントは検索拡張生成 (RAG) 用のツールを使用できます。

ADK は Python SDK です。コードを書いてみましょう。クラウドシェルエディターで ADK を使用しています。

  • Vertex AI への接続: まず、エンドファイルまたは API キーを使用して Vertex AI 上の Gemini に接続します。
  • 指示の設定: エージェントの目標を自然言語で定義します。この例では、顧客リクエストの取得と PDF 提案の作成に焦点を当てた詳細な指示を設定します。Vertex AI を使って指示作成を支援できます。
  • ツールの追加: 建築基準法分析ツールを追加します。これにより、エージェントはローカル建築基準法用のプライベートデータセットにアクセスして RAG を実行できます。
    • 関数 (例: building_code_analysis) はツールの引数と戻り値を定義します。
    • ドック文字列 (Docstring): 自然言語でツールの動作を説明します。これがエージェントが関数の動作と呼び出すべきタイミングを知る方法です。この例では、関数は建築要素（配管、窓など）を受け取り、RAG データベースでローカルコードを検索し、概要を返します。明確なドック文字列が重要です。
    • MCP サーバー: RAG のために外部情報を取得するには、オープンソース化された Google の MCP ツールボックスのモデルコンテキストプロトコルサーバーを使用し、エンドポイントにデプロイします。
  • モデルの選択: AI エージェントを構築しているので、Vertex AI の AI モデルが必要です。ADK はモデルに依存しないため、Llama や Claude なども使用できますが、ここでは Gemini 1.5 を使用します。モデルは定義したツールの実行を処理し、出力を生成します。

要約すると、ADK でのエージェント構築は「指示」「ツール」「モデル」の 3 つです。

  • テスト: ターミナルを開き、ローカル開発用の UI adk web を実行します。
    • ローカルホストで UI を開き、画像などのマルチモーダル入力を処理できます。ページのアイデアとフロアプランをアップロードし、「提案書を作成してください」と依頼します。
    • この UI は、Gemini Code Assist やサポートされている IDE と今年後半に統合されます。
  • 結果: 完全なプロフェッショナルな PDF が作成されました。これは非常に時間の節約になります。

ADK は今日公開されました。皆さんも Gemini とエージェントを使って生活を楽にする何かを構築してください。

ADK、エージェントエンジン、エージェントスペース

リチャード: 素晴らしい仕事です、フラン。

ステファニー: フランがペイジとローガンのデモのアイデアを取り入れて、エンタープライズクラスのエージェントを簡単に作成できるのを見るのはワイルドでした。これが他の多くのタスクやビジネスにどう役立つか想像するのは難しくありません。

リチャード: エージェントを使って構築できるものはたくさんあり、まったく新しいレベルの自動化を実現します。ADK はかなりクールでしたね。

フラン: ADK を使って構築する際にユニークな点は、本質的にはコードであり、迅速なエンジニアリングが非常に重要であることです。ドック文字列と指示は非常に明確にする必要があります。

リチャード: ありがとう、フラン。素晴らしい仕事です。さて、少し話を変えて、開発者が私たちの製品とフレームワークを使ってさらに多くのことを構築する方法について話しましょう。

ステファニー: はい、私の個人的なお気に入りの 1 つ、最近一般公開された Vertex AI エージェントエンジン について話しましょう。エージェントエンジンを使用すると、エージェントフレームワーク上に構築されたエージェントを簡単に展開・実行できます。展開プロセスを簡素化し、エージェントコードに集中できるようにします。エンタープライズグレードのセキュリティコントロール、本番グレードの監視とロギング、評価と品質のフレームワークを提供します。

リチャード: 他に何が必要でしょうか？エージェントの発見と共有です。そのために エージェントスペース という素晴らしいものがあります。これは全社のエージェントのハブです。

  • 昨日のメイン基調講演で見たようなノーコードエージェントを直接構築できます。
  • ADK で構築されたエージェントを登録して利用可能にできます。
  • 開発者が構築したエージェントを社内の従業員や、クラウドマーケットプレイス経由ですべての企業に共有できます。
  • サードパーティのモデルとエージェントをサポートし、すべてのユーザーにわたるアクセス制御のための共通のサーフェスを提供します。

エージェントのチームが連携するという話を聞いたことがあるかもしれません。これらのエージェントの組み合わせ（高度なエージェンシー）は、複雑なタスクを引き受けることができます。次に、Vertex AI 上でマルチエージェントシステムを構築するための新機能と、エージェントサービスのデバッグ・修正に役立つ最新技術を見てみましょう。アベラミ・スクマラン博士を歓迎します。

デモ 3: マルチエージェントシステムの構築とデバッグ (アベラミ・スクマラン博士)

アベラミ: こんにちは。複雑なプロセスには複数のエージェントが必要です。複数の専門エージェントのシステムを作成し、マルチエージェントシステムの展開とデバッグのプロセスを実行します。

クライアント向けの建築提案を生成するエージェントに加え、さらに 2 つのエージェントを追加します。

  1. 許可とコンプライアンス用
  2. 資材の注文と配送用

これらはすべて Gemini と ADK を使用して Vertex AI で構築されています。これら 3 つのエージェントが、エンドツーエンドのプロセスを処理できる単一のエージェントとしてシームレスに連携する必要があります。

  • マルチエージェントシステムの構築 (ADK):
    • ルートエージェントの定義: 目標に基づいて 1 つ以上のサブエージェントを呼び出します。
    • 指示: 単一エージェントと同様ですが、追加のサブエージェントがどのように使用され、ルーティングされるかを定義し、サブエージェント間の依存関係も定義します。
    • サブエージェントの宣言: ツールを宣言するように、3 つのサブエージェント（提案、許可、発注）を宣言します。
  • エージェントエンジンへのデプロイ:
    • ADK から Vertex AI エージェントエンジンに直接デプロイできます。ADK を含む多くのエージェントフレームワークをサポートするフルマネージドのエージェントランタイムです。
    • コードスニペットを実行すると、数分でエージェントがデプロイされ、呼び出し可能なエンドポイントが返されます。
  • エージェントスペースでのテスト:
    • エージェントスペースコンソールで、デプロイした改修エージェントに移動します。
    • 提案文書をアップロードし、「許可プロセスを開始してください」と依頼します。エージェントは指示に基づいて適切なサブエージェントにルーティングし、許可チェックリストを作成します。
    • 次に、「以前に注文した材料の注文ステータスを確認してください」と依頼します。
  • デバッグ (クラウド調査):
    • おっと、バグがあるようです。エージェントエンジンにデプロイし、Google Cloud プロジェクトのツールを使用しているため、Cloud Logging でデバッグ情報を確認します。
    • 大量のエラーメッセージがあります。例外テキストを調査するために「調査を作成」をクリックします。これは クラウド調査 と呼ばれる Cloud Assist の新機能で、インフラやコードの問題診断に役立ちます。
    • 調査レポートが開かれ、関連する観察結果と仮説が表示されます。
      • 観察: posgress SQL 列が見つからない、列名が status であるべきところ ステータス となっていることを特定。
      • 仮説: 問題の概要、推奨される修正、Gemini が提案するコード編集への直接リンクを提供します。
    • リンク先に移動すると、バグのある現在のコードと Gemini が提案した修正（ステータス を order_status に修正）が並べて表示されます。
    • コード提案を受け入れ、保存して再デプロイします。数分でデプロイされます。
  • 再テスト: デプロイ後、エラーが修正されたことを確認します。

ADK、Vertex AI、エージェントスペース、Cloud Assist 調査を使用することで、複雑なエージェントシステムの共有とデバッグが非常に簡単になりました。

マルチエージェント、クラウド調査、ADA プロトコル

リチャード: すごいですね。テック系インフルエンサーも私たちと同じで、コードが動かないことがあるんですね。

ステファニー: エージェントの規模と数がどのように増加するかを見るのは簡単ですが、それらをまとめるのは複雑に思えます。しかし、実際には非常に簡単に見えました。マルチエージェントシステムを適切に構築するために ADK で何を学びましたか？

アベラミ: 3 つの重要な点を学びました。

  1. 各サブエージェントの専門化を理解し、推論することが重要です。
  2. ルートエージェントがどのように接続・ルーティングし、応答を理解して結果を収集するか。
  3. ADK を使用して、特に複雑なフロー制御が必要な場合に、複数の種類のエージェントルーティング、ハンドルコンテキスト状態などを実行できること。

リチャード: 素晴らしい例でした。エージェントを簡単に接続できるようにするために、エージェント間エージェントプロトコル (ADA) を立ち上げました。MCP がエージェントの接続方法とツールの使用方法を標準化するように、ADA はエージェントの発見と接続を簡単にします（特に異なるエコシステムやベンダーからのエージェントの場合）。これはオープンソースで、他の 50 社以上と構築しています。これにより、どのプラットフォームで構築されたエージェントも、目標達成のために通信し協力できます。

ステファニー: Vertex AI 上の多数のエージェントが連携するのは素晴らしいですが、将来的には異なるフレームワークやベンダーで構築されたエージェントも使いたいでしょう。Google が他の企業と協力してそのための標準を作成していることに興奮しています。ところで、クラウド調査についてこっそり話しましたが、なぜ開発者はこれを気にする必要があるのでしょうか？

アベラミ: 複雑なエージェントやサービスを調整するシステムを構築するのは十分に難しいです。開発者はデバッグのためにログを調べたり、複数の依存関係を追跡したりするのに時間を費やす必要はありません。クラウド調査は、マルチエージェントシステムのサービス全体でコードを特定・修正するのに役立ち、アプリを迅速に復旧させます。

リチャード: ありがとう、アビー。素晴らしいデモでした。

開発者の選択肢: IDE とモデル

ステファニー: ここまで Google と AI を使って何かを構築する方法をたくさん紹介しましたが、私たちはエコシステムも大切にしています。開発者は新しい、エキサイティングなもの、そして特定の仕事に最適なものを使うのが好きです。これが現代のソフトウェア構築のあり方です。Gemini は Google Cloud とツールで非常に強力ですが、次にお気に入りの IDE やツールから Gemini を活用する方法を説明します。

リチャード: ちょっと待ってください、ステファニー。開発者の選択を可能にする別の方法を忘れないようにしましょう。

ステファニー: 何を忘れましたか？

リチャード: Vertex AI モデルガーデンです！

ステファニー: ああ、小屋に行きます。（ひどいジョークですね）これまでに 200 を超えるモデルを世界中の開発者がデプロイできるようになりました。各タスクに最適なモデルを選択できます。

リチャード: では、Google AI を使って構築することで、IDE とモデルの両方で前例のない選択肢がどのように得られるかを見てみましょう。デビー・カブレラをステージに歓迎します。

デモ 4: IDE とモデルの選択 (デビー・カブレラ)

デビー: 皆さん元気ですか？Google は開発者が最適なツールとモデルを使って素晴らしいアプリを構築できるようにしています。

  1. 選択した IDE で Gemini を使用する方法。
  2. 選択したモデルを Google Cloud に持ち込んでアプリに使用する方法。
  • IDE での Gemini 利用: エージェントが予算を支援する新しいサービスを構築していると仮定します。3 つの人気 IDE で Gemini を使用する方法を示します。
    • Windserve: 合理化されたエクスペリエンスを持つ新しく人気のある IDE で、エージェントコーディングに焦点を当てています。Gemini 1.5 Pro とチャットして AI を活用したコード作成を開始できます。「予算編成用のサンプルサービスを備えた Java マイクロサービスアプリを構築する」などの質問ができます。モデルは反復処理し、ターミナルコマンドを求めたり、ファイルを作成したりします。ゼロからテンプレートに移行し、構築を続けられます。
    • Cursor: コードベースの分析と推論に優れています。既存の Java 予算コントローラーファイルに、インラインオプションで Gemini を選択し、「入力検証を追加」と依頼します。Gemini が生成したコードが強調表示され、既存ファイル内に直接追加されます。
    • IntelliJ (JetBrains ファミリー): GitHub Copilot 経由で Gemini に接続します。同じコードベースを使用し、Copilot にファイルのコンテキストを与え、チャットで単体テストの追加を依頼できます。（スペイン語で質問するデモ）Gemini が新しいファイルと現在のファイルへの変更を提案します。受け入れるものを選択できます。

これらすべての IDE は、Gemini 1.5 ファミリーのモデルをすぐにサポートするようになりました。Windserve, Cursor, IntelliJ, Copilot は 3 つの例にすぎません。Visual Studio Code, Tabnine, Cognizant, Ader など、開発者が最適な場所で Gemini を使用できるようにしています。

  • モデルの選択 (Vertex AI モデルガーデン):
    • 私のお気に入りは Gemini ですが、世の中には特定のタスクに適した素晴らしいモデルがたくさんあります。
    • Vertex AI のモデルガーデンでは、最も人気のあるモデルに接続したり、HuggingFace などのレジストリから独自のモデルを持ち込んだりできます。
    • Llama, Gemma 3, Anthropic, Mistral など、さまざまなクリエイターの最新モデルをサポートしています。
    • Llama 3 のテスト: Meta の Llama 3 モデルはモデルガーデン経由でサービスとして提供されています。「改修予算の設計にどのような機能を提供できますか？」などの質問をしてモデルをテストし、応答を確認できます。他のモデルと比較することも可能です。これは独自のインフラを起動したり、高価な GPU を割り当てたりすることなく実行できます。
    • モデルのデプロイと利用:
      • 独自のエンドポイントやクラスターにデプロイすることもできます。
      • アプリケーションコード内でモデルガーデンのモデルを使用する例 (Visual Studio Code で Claude を使用):
        • 現状: アプリは Google Cloud 上、モデルは別の場所で実行。
        • 改善: レイテンシを最小限にし、セキュリティを簡素化するため、モデルをアプリと併置したい。
        • 変更: コードを 2 つ変更するだけで、モデルガーデンから同じ Claude 3.7 モデルを使用できます。
          1. モデルの初期化方法を変更 (API キーの代わりにプロジェクト ID とリージョンを使用)。
          2. モデルの実際の名前を変更。
        • これでモデルガーデン版を使用するように設定完了です。Vertex AI SDK を使用して他のモデルでも同様のことができます。

私たちは、開発者がいる場所で会えるように努めています。チームは Gemini を IDE で使用して素晴らしいアプリを構築することも、Vertex AI モデルガーデンを使用して選択したモデルを呼び出すこともできます。何を使用しても、皆さんが何を思いつくか楽しみにしています。Gracias!

Gemini Code Assist のアップデートと Firebase の Gemini

リチャード: 素晴らしいデモでした、デビー。開発者には 2 つのことが当てはまります。ツールにこだわりがある一方で、新しいことにも挑戦したがる。私たちがここでオープンなアプローチを採用し、開発者が多くの異なるツールから Gemini を使用できるのは素晴らしいことです。

ステファニー: 個人的には Cursor をいじっていますが、素晴らしいです。開発者がどこにいても Vertex AI モデルガーデンの最新モデルにアクセスできるように、Gemini を提供していることが気に入っています。

リチャード: はい、最新の Gemini モデル 1.5 Pro が個人向けの Gemini Code Assist で利用可能になりました。今すぐ使用できます。（後でね！）
さらに、Gemini をより多くの開発者画面に導入しました。

  • Android Studio: Gemini Code Assist でサポートされるようになりました (プレビュー)。Android 固有の AI 機能が追加されます。
  • Firebase の Gemini: 新しい Firebase Studio で完全な AI 支援を提供します。

AI とスポーツ: MLB ハッカソン

ステファニー: AI がソフトウェアの構築方法を変えつつありますが、その影響はコード行をはるかに超えています。お気に入りのスポーツをプレイしたり観戦したりするなど、私たちの周囲の世界の体験方法も変わりつつあります。私にとってそれはメジャーリーグベースボール (MLB) です。ゴー、パドレス！

リチャード: オーケー、待ってください。AI がついにナックルボールの投げ方を教えてくれると？

ステファニー: あなたには絶望的です。可能性ゼロ。でも、ファンが選手のパフォーマンスを分析する方法に革命を起こすことはできます。AI を使ったゲームは Google Cloud で実現できます。

リチャード: それが、MLB と提携している理由です。Google Cloud を使用して 1 試合あたり 2,500 万のデータポイントを処理し、これまで考えられなかった統計を計算しています。Gemini と Vertex AI を使用することで、MLB はリアルタイムでライブプレイを膨大な StatCast データセットと比較し、新鮮な洞察を見つけることができます。このデータと AI を使ってコミュニティが何を構築できるか見たかったので、一緒に Google Cloud MLB ハッカソン を作成しました。

ステファニー: 大量の提出がありましたが、グランプリ受賞者をステージに迎え、彼が Gemini と Vertex AI を使って野球投手のパフォーマンスをどのように分析したかを説明してもらいます。勝者のジェイク・デバティスタを心から歓迎します。

デモ 5: Gemini を使った野球投球分析 (ジェイク・デバティスタ - ハッカソン勝者)

ジェイク: やあ皆さん。モーションキャプチャと分析の素晴らしさにはいつも感銘を受けています。高速カメラであらゆる詳細を測定できますが、誰もがアクセスできるわけではありません。大学時代、私は砲丸投げ選手で、自分のビデオを見てテクニックのエラーを探すのに何時間も費やしました。生体力学的データを取得するための高速カメラなしで投球を分析するより良い方法が必要でした。

そこで、投球を分析するための完全にカスタマイズ可能なプロンプトジェネレーターを構築しました。Gemini API と Google Cloud を使用して、これを 1 週間で作成しました。方法を紹介します。

投手ごとに好みやスキルレベルが異なるため、Gemini は投球に応じて分析を適応できる必要があります。

  • 経験豊富な投手 (クレイトン・カーショー) の分析:

    • 史上最高の左腕投手の一人、クレイトン・カーショーのビデオを分析します。ほぼ完璧な試合の 7 回に投げた最後の投球を見て、彼が理想のパフォーマンスからどれだけ離れていたかを確認します。
    • プロセス:
      1. OpenCV (コンピュータビジョンライブラリ) を使用してビデオを前処理し、Google Cloud に保存。
      2. 球種や試合状況などの選択を行い、MLB データを取り込み、カーショーのプロフィールをプロンプトに入力。各選択は、分析対象のピッチに合わせたシステム命令とプロンプト詳細の生成に役立ちます。
      3. すべてを Gemini API に送信。
    • 結果: モデルは、カーショーが得意のカーブボールを理想からほとんど逸脱せずに投げていたことを示します。

  • アマチュア投手 (リチャード) の分析:

    • これはプロだけのものではありません。経験の浅いプレーヤー向けのパラメータを使用するアマチュアモードを追加しました。
    • 共同ホストのリチャードが数週間前に投げた球を見てみましょう。（リチャードは嫌がっていますが…）
    • 結果: 「リチャード君にはメジャーリーグよ…本業は辞めないでくださいね。」 彼には可能性があります。腕を少し締め、足を追加する必要があります。Gemini は、力を最大限に高めるために別の刺激フレームワークを使用します。
    • ワンクリックで、カーショーのようなプロモデルからリチャードのようなアマチュアに素早く適応し、採点ルーブリックを変更できます。

  • Gemini の利点:

    • シンプルなプロンプトで複数のフレームを同時に処理できるため、個々のスナップショットだけでなくモーション全体を分析できます。これにより、ピッチの各部分が最終結果にどう寄与するかを深く理解できます。
    • 基本的に箱から出してすぐに機能しました。カスタムモデルの実装や複雑なデータセットの構築は不要でした。
    • アスリート兼フロントエンド開発者として、Gemini を使用してコンピュータビジョンアプリケーションを 1 週間で自分で構築できたことにショックを受けました。

これは、高解像度カメラを必要とせずに、あらゆるレベルのコーチとアスリートが選手をサポートできるように、投球の見通しを念頭に置いて構築されました。今では、誰でもポケットにパーソナライズされたコーチを持つことが可能です。

AI による分析の可能性と X Games の事例

リチャード: ありがとう、ジェイク。ハッカソン優勝おめでとう。私のピッチングパフォーマンスに少し取り組む必要がある以外に、何が得られましたか？

ステファニー: 数年前にこの種の分析に生成 AI を使用することを想像できましたか？プロセスを視覚的に分析することが意味のある場所ならどこでも貴重だと思います。製造プロセスの最適化、品質管理、大規模生産ラインでの部品トラブルシューティングなどです。

リチャード: リストは無限ですね。これは AI 以前には大規模にはうまくできなかったことです。スポーツと AI のユースケースについてはまだ考えています。Google 内には AI バスケットボールコーチもあります。試しましたか？

ステファニー: 昨日試しました。肘の位置、膝の曲げ方など、基本的にすべてについて指導してもらいました。

リチャード: 私のピッチングをローストしていますね。

ステファニー: ええと、Winter X Games の CEO ジェレミー・ブルームと彼のチームと共に、AI コメンテーターとスコアアナライザーを構築するための最近の作業を行いました。

リチャード: それは素晴らしかったです。その作業は、ジェイクが話した内容に別の次元を追加しました。基本的に、Gemini が人間の目にはすぐには分からない情報を見て、意味を理解するのに役立つということです。わずか 8 週間で、クラウド開発者の小さなチームが、まったく新しい要素を追加できる AI コメンテーターを構築しました。

ステファニー: ファンへ。実写のスポーツイベントで初めて、男子スーパーパイプの AI スコアリングと分析を体験しました。

リチャード: ジェミニは練習走行の分析だけで上位 3 人の勝者を正確に予測したと思います。

ステファニー: まさにその通りです。X Games は、AI の洞察と人間の専門知識を組み合わせて、競技からバイアスを取り除くのに役立つ、偏りのないメカニズムとしての AI のアイデアに非常に興味を持っています。AI は私たちが見逃すかもしれない一瞬も見逃しません。

リチャード: ジェイクがコーチとしての AI について触れた、パフォーマンス向上のために膨大な量のニュアンスデータをどのように使用できるかというアイデアも大好きです。来年、この分野で多くの勢いが見られそうです。

ステファニー: AI によって物事が速く、安価になるのは素晴らしいことですが、以前は不可能だったまったく新しいことができることに本当に興奮しています。これは一体どこへ行くのでしょうか？次に何に備える必要がありますか？

未来の展望: データサイエンスエージェントとソフトウェアエンジニアリングエージェント

リチャード: 次の後に何が起こるか見てみましょう。私たちの業界がさらに変化している 2 つの領域を見てください。

  1. より強力なインターフェース
  2. より役立つ責任あるエージェント
  3. すべてを調整するのに役立つクラウドプラットフォーム

ステファニー: そう、AI が IDE やノートブックだけでなく、より多くの場所に表示されるのは他にありません。エージェントを、私たちが働く様々な場所すべてで提携するチームメイトと考えてください。Google AI を搭載したエージェントが、BigQuery と Vertex AI を使用して詳細なデータ分析を行う方法を説明します。これにより、エンタープライズデータから洞察と回答を得ることが劇的に簡単になり、ビジネス関係者にとってヒーローになれるでしょう。ジェフ・ネルソンさん、どうぞ。

デモ 6: データサイエンスエージェントによるデータ分析とアプリ作成 (ジェフ・ネルソン)

ジェフ: データが好きな人はいますか？私もです。10 年以上データを扱ってきましたが、生のデータを有用なものに変えることの難しさを知っています。今日は、新しい データサイエンスエージェント が生のデータをデータアプリに変換するのにどのように役立つかを説明します。このアプリは、営業マネージャーが建設会社のパーソナライズされた予測にアクセスするのに役立ちます。

  • BigQuery ノートブック (Collab 利用):
    • 予測を作成するために、製品売上表を確認する SQL コードを貼り付けます。
    • 結果は Python データフレーム (df) にロードされます。これにより、bigframes のようなライブラリを使用して任意のサイズのテーブルに対してコードを実行できます。
    • 不要な列を削除し、注文日や顧客状態などで総売上高を集計する Python コードを実行します。
    • 表形式ビューだけでなく、グラフビューでパターンを確認できます。
  • Gemini データサイエンスエージェントの使用:
    • ノートブックに組み込まれています。「エージェントに質問」をクリックし、「入力テーブルから売上予測を生成する」というプロンプトを入力します。
    • ここからのコードはすべて Gemini データサイエンスエージェントによって生成・実行されます。
    • これは共同プロセスであり、チャットボックスで自然言語でやり取りできます。
    • エージェントは特徴エンジニアリングに Spark を使用しています。これは BigQuery の新しいサーバーレス Spark エンジンによって可能です。SQL, Spark, Python 間を簡単に切り替えられます。
    • 入力テーブルから読み取り、変換を適用し、変換テーブルに書き込む Spark コードが生成されます。
  • 予測モデル (TimesFM):
    • 予測を構築するために、エージェントは新しい Google Foundation モデル TimesFM を使用します。これは予測用で、BigQuery で直接アクセスできます。
    • 大規模な時系列データセットで事前トレーニングされているため、データを入力するだけで予測が得られます。
    • 出力には、すべての製品 ID と日付の組み合わせに対する予測値と信頼区間が含まれます。チャートビューで確認できます。
  • データアプリの作成:
    • この結果を営業マネージャーと共有したいですが、アプリ構築はあまり好きではありません。
    • ノートブックで「データアプリの作成」をクリックし、公開したいセル（ビジュアライゼーションのみ）を選択します。
    • 「BigQuery パッケージの作成」をクリックすると、すべてが起動し、外部リンクが表示されます。
    • この予測は誰でもアクセスできるデータアプリになり、営業マネージャーはデータサイエンスの知識なしで独自のパラメータを入力してパーソナライズされた予測を取得できます。

データサイエンスエージェントにより、生データを完全にデプロイされた予測データアプリに簡単に変換できました。

さらに: データエンジニア、データアナリスト、ビジネスユーザー向けの専門エージェントもプレビューでリリースします。BigQuery ノートブックに統合されたデータサイエンスエージェントも間もなく登場します。今日から Collab を開始できます（QR コードをスキャン）。

ソフトウェアエンジニアリングエージェント (プレビュー)

リチャード: 彼が「アプリを作るのは好きじゃない」と言ったのは、メインステージ基調講演への最初で最後の登場を意味するでしょうね。しかし、短い時間で非常に印象的でした。

ステファニー: データサイエンスエージェントが本格的に軌道に乗っているのは明らかです。今年リリースされるデータ用エージェントの次のセットを見るのが楽しみです。モデルへの 1 回の呼び出しだけでなく、継続的で複雑な分析を実行できるエージェントの権限を強化しているのが好きです。

リチャード: もう 1 つ大きなデモがあります。ソフトウェア開発の未来を少しだけ覗いてみましょう。ソフトウェアエンジニアリングエージェント を使用してソフトウェア構築をより迅速かつ簡単にする、驚くべき機能が今年後半にいくつか登場します。生産性をさらに高めるために他に何があるか、スコット・デンソアに説明してもらいましょう。

デモ 7: ソフトウェアエンジニアリングエージェント (スコット・デンソア)

スコット: 開発者を支援するために特別に設計されたエージェントを使用してソフトウェアを構築する方法について、初期段階で説明します。この機能は今年後半に提供予定です。

Gemini Code Assist は、アプリケーション作成を支援する追加のコーディング担当者となり、反復的で日常的なタスクを削除して、楽しいことに集中できるようにします。

  • Gemini Code Assist コンバンボード:
    • エディターを超えて、エージェント付きソフトウェアの新しい開発方法に移行します。
    • コンバンボードを使用すると、ソフトウェア開発ライフサイクルのあらゆる側面で支援するエージェントを調整できます。
    • バックパック: すべてのエンジニアリングコンテキスト、スタイルガイド、セキュリティポリシー、フォーマット設定、以前のフィードバックを保持します。これにより、Code Assist はより効果的なコーディングパートナーになれます。
  • タスクの割り当てと実行:
    • Google ドキュメントから: Java 移行に関する技術設計ドキュメントがあります。コメントを作成し、Google ドキュメントから直接 Code Assist に移行を割り当てます。質問はコメントスレッドに追加され、直接応答できます。タスクはコンバンボードに表示され、進行状況を追跡できます。
    • CI/CD から: Code Assist に問い合わせて、継続的インテグレーションのビルド障害を修正するように依頼できます。
    • チームチャットから: チャットルームから直接依頼できます。
    • バグトラッカーから: バグを直接割り当てることができます。
    • 自動化: なぜ手動で割り当てる必要があるのでしょうか？Code Assist にリポジトリを監視させ、バグトリアージ、根本原因分析、問題の自動修正を実行させることができます。
    • コードレビュー: 受信したすべてのプルリクエストに対してコードレビューを依頼し、実用的なフィードバックを残すことができます。（リチャードのバックパックからのフィードバックよりはるかに良いでしょう！）
  • 新しいプロジェクトの開始:
    • 地震監視 Web アプリの製品要件ドキュメント (PRD) を取得し、Code Assist にプロトタイプ作成を依頼します。
    • 結果をコンバンボード内から直接プレビューします。
    • これが新しい開発ループになります。Code Assist に必要な変更を伝え、別のパスを実行し、満足するか、IDE でコードに飛び込むかを決定できます。
  • 既存コードの修正:
    • リチャードがチェックインしたコードに問題があるようです。（彼は話すのは好きですが、コーディングや野球はあまり…）
    • これを Code Assist に渡し、彼のコードアクセスを調査させます。（ビルド失敗は彼が原因だったようですね）

Code Assist とコンバンボードは、あらゆる種類の開発者タスクに取り組むように設計されており、開発者としての範囲を広げ、より多くのアイデアを実現できるようにします。

基調講演直後のアプリ開発スポットライトで、ライアン・ジョーがこれらの新機能の詳細とプレビューへのサインアップ方法を説明します。

まとめと将来展望 (VEO と Sphere の事例)

リチャード: ありがとう、スコット。それは本当にソフトウェア開発の未来のように感じました。

ステファニー: 開発時間の大部分を興味深く重要な問題解決に集中させ、テストや CRUD コード作成などの退屈な作業に費やす時間を短縮できるというアイデアが好きです。

リチャード: ここで示したように、プロトタイプや MVP を構築することは、大規模で複雑なコードベースを持つ企業に新機能を追加することとは異なります。しかし、AI は誰にとっても優れたコードを記述でき、作業する表面が何であれ、私たち全員と対話できることを示しています。エージェントのオーケストレーションがソフトウェア開発の将来の大部分であることに興奮しています。

ステファニー: ここで、AI が開発者と協力して適切なものを構築し、それを適切に構築する、小規模から大企業向けの新しい開発ループを示しました。私自身のエージェントフリートで構築するのが待ちきれません。

リチャード: 最後に共有することがあります。VEO 2 について多くの話題がありました。非常にクールなモデルで、可能性に興奮しています。

ステファニー: そうですね。皆さんが VEO で作ってきたもの（ショートフィルム、魔法のようなアニメーションシーンなど）を見るのが大好きです。アニメーションや特殊効果以外では不可能なものが本当に大好きです。

リチャード: それらはすべて今日 Vertex AI で利用可能です。しかし、Google Cloud と Google DeepMind がパートナーと協力して、この同じテクノロジーを使用してエンターテイメントで可能なことの限界を拡大するときに、舞台裏をもう 1 つ覗いてみたかったのです。

The Sphere は、1939 年の映画『オズの魔法使』の完全没入型体験を提供すると発表しました。見てみましょう。

  • Sphere での『オズの魔法使』体験:
    • まるで映画の中にいるかのような体験を目指します。
    • 課題:
      1. 元の 4:3 画像を Sphere の巨大なメディアプレーンに適応させる。
      2. 元の映画に存在するディテールを追加して復元する (超解像度、インペインティング)。
      3. 元の映画の視野外で切り取られたキャラクターを完成させる。
      4. 視野が広いため、カメラに捉えられなかったはずのキャラクターを生成する必要がある。
    • 解決策:
      • AI を使用して元の映画の素材をトレーニングし、記憶を再構築。
      • 観客を元の映画の記憶に戻し、Sphere で体験を再現。
      • 重要な指針: オリジナルの完全性と映画製作者の意図を維持する。
    • 技術 (VEO):
      • Google Cloud インフラでパイプラインを実行し、低解像度入力を高解像度出力に変換。
      • VEO は明確に定義されたビデオモデルであり、最大の超解像度のブレークスルーの 1 つ。
      • ビデオをズームインし、パッチを取得し、モデルが高解像度画像を生成する方法を学習。

新しいテクノロジーとツールで新しいストーリーが語られます。模型や特殊効果の時代から、アーティストチームが AI と協力して過去 100 年の映画製作者の足跡をたどる新しい時代に入りつつあります。

最終的なまとめ

リチャード: 本当にクールです。これはほんの始まりに過ぎません。このテクノロジーで他のエンターテイメントプロジェクトが可能になるのか、お客様が VEO 2 で何をするのかを見るのが待ちきれません。

ステファニー: 将来ではなく今日できることをたくさん示しました。今すぐ AI を使用してください。

  • AI Studio: 最新の Gemini モデル（高度な推論を備えたものを含む）を実験。
  • エージェント開発キット (ADK): エージェントを開発。
  • Vertex AI: エージェントを大規模に実行し、複数のエージェントを連携させる。
  • IDE / モデルガーデン: お気に入りの IDE で Gemini を使用するか、Vertex AI モデルガーデンからお気に入りのモデルを取得。
  • データエージェント (近日公開): エージェントを使用してデータに飛び込む。
  • ソフトウェア開発エージェント (近日公開): 面倒な開発作業を代行させ、複雑なエンジニアリング問題に集中。

リチャード: 個人的にはジェイクの野球デモが大好きでした。

ステファニー: 私もです。Gemini はコンピュータビジョンを非常に簡単でアクセスしやすくしました。バスケットボール、野球、ギター学習、料理スキルなど、多くの点で上達するために Gemini を使えることに気づきます。

最新のデモをご覧ください。ステージで話題になった製品を試してみて、メイン基調講演会場の中心にある Google Cloud ショーケースで技術専門家が質問に答えてください。

リチャード: これがショーです。皆さんが Gemini と Google Cloud を使って次に何を構築するのかを見るのがとても楽しみです。現場に出て構築を始めましょう。ありがとう。

Discussion