[Vertex AI Extensions の活用・構築]Google Cloud Next '23 のセッション

はじめに

こんにちは、クラウドエースのシステム開発部 SRE ディビジョンの渡辺です。Google Cloud Next Tokyo '23 で目の当たりにした生成 AI の可能性に心躍り、その興奮は今も続いています。 今回は、Google Cloud Next Tokyo '23 で参加したセッションの中から、Vertex AI Extensions についてその概要とセッションの要点に焦点を当てて紹介します。

記事執筆時点（2023年11月）
本記事では、Vertex AI Extensions の紹介について焦点を当て、実際の作成については触れません。

概要

本記事では、主に、以下2点に焦点を当てて紹介します。

1. Vertex AI Extensions について
2. セッション内容について

本記事の対象者

• Vertex AI Extensions に興味がある人
• これから活用を考えている技術者

以下のリンクは Google Cloud の公式ブログに掲載された Vertex AI の最新の進化と拡張に焦点を当ている記事です。こちらも合わせてご覧ください。

公式ドキュメントによる解説

まずは、公式ドキュメントによる「Connect models to APIs by using extensions」の解説を日本語で紹介します。

Vertex AI Extensions の概要

Vertex AI Extensions は、大規模言語モデル（以下、LLM）を外部システムの API に接続するための企業向けプラットフォームです。現在プライベートプレビュー段階にあり、このプラットフォームを使用することで、LLM を外部システムに接続する拡張機能を作成、展開、そして管理することが可能です。これにより、LLM はリアルタイムデータを取得し、データ処理アクションを実行できるようになります。
Vertex AI Extensions は、ReAct や LangChain のようなフレームワークとも互換性があり、LLM が複数の拡張アクションを連携させて複雑なタスクを計画、推論し、完了することを可能にします。

主な制約と解決策

LLM は多くの問題を解決するのに強力ですが、以下のような制約があります：

• トレーニング後に固定され、知識が古くなる。
• 外部データを問い合わせたり、変更したりすることができない。

Vertex AI Extensions はこれらの短所に対処し、LLM がリアルタイムデータを取得し、データ処理アクションを実行できるようにします。

使用例と利点

Vertex AI Extensions を使用すると、大規模な言語モデルを外部システムの API に接続する拡張機能を作成、展開、管理できます。これらのシステムは、LLM にリアルタイムのデータを提供し、LLM に代わってデータ処理アクションを実行することができます。
以下は、使用例です：

• コードの生成と実行
• ウェブサイトの問い合わせと情報の合成
• 企業データソースのインデックス検索とパワーサーチ
• データストアの問い合わせと分析

また、以下のような利点があります：

• エンタープライズコントロール：IAM、セキュリティコントロール、データ居住地、顧客管理暗号化キー、VPC セキュリティコントロール
• パフォーマンス保証：プライベートデータの漏洩防止、特定機能とアップタイムの提供
• プライベート拡張：組織内の承認されたユーザーや信頼できるパートナーが内部データやアクションにアクセスできる
• Google 製品との統合：BigQuery、Vertex AI Search、特化モデルとの統合

セッションの内容

この章では、これらの Vertex AI Extensions について、Google Cloud Next Tokyo '23の2日目、Google Cloud カスタマーエンジニアの下門氏のセッションから最新内容を紹介します。

LLM を強化する"Vertex AI Extensions"の活用・構築方法

このセッションでは、次のようなポイントが紹介されました。以下要約した3点 を紹介します。

1. LLM の制約と拡張機能の課題
2. Vertex AI Extensions の詳細
3. 拡張機能の作成手順と事例紹介

セッションのリンクは以下の通りです。

1. LLM の制約と拡張機能の課題

まず、はじめに LLM の制約と拡張機能の現在の課題についてそれぞれ 3つ 述べられました。

大規模言語モデル (LLM) の制約

1. 凍結されたデータ
   LLM はトレーニングが完了した日付以降のデータにアクセスできないため、その後の情報が更新されていない可能性があり、結果として提供される知識が古くなり、不正確な場合があるという問題があります。
2. 社内データとのギャップ
   LLM はトレーニングデータに含まれる情報しか知らないため、企業が持つ最新または専門的なデータとの間にギャップが生じることがあります。企業は自社データを LLM に統合することでこの問題に対処することができますが、そのプロセスは複雑であり、セキュリティやプライバシーの問題を含む可能性があります。
3. リアルな世界との断絶
   LLM は実世界と直接的な接続がないため、現実世界のイベントや動向に即応することができず、API や他のインターフェースを通じてユーザーに代わって具体的なアクションを起こすことができないという制約があります。

これらの制約は、拡張機能を使用して LLM を実世界に接続し、リアルタイムのデータやプライベートデータへのアクセスを可能にすると解決できるとされています。例として、従業員向けデジタルアシスタントや検索とフード注文のシステムが紹介されました。しかし、この拡張機能にも現在、次のような3つの主要な課題があると述べられました。

拡張機能の現在の課題

1. 開発
   エンタープライズ環境での拡張機能を開発、テスト、デプロイするためのツールが不足していることが課題となっています。
2. 正確性
   モデルが間違った拡張機能やパラメータを選択することがあり、結果として正確性が損なわれ、複雑なタスクの実行が難しくなることがあります。
3. セキュリティとプライバシー
   拡張機能によっては機密性の高いデータやアクションにアクセスできるため、企業はセキュリティ、プライバシー、コンプライアンスの管理を徹底する必要があります。

これらの開発、正確性、そしてセキュリティとプライバシーに関する課題への対応策として、「Vertex AI Extensions」が新たなソリューションを提供します。

2. Vertex AI Extensions の詳細

ここでは、Vertex AI Extensions の詳細について紹介された内容をまとめます。

Vertex AI Extensions

エンタープライズ向けの拡張機能および拡張機能を活用したアプリケーションを構築するためのプラットフォームです。包括的なツールセットでエンタープライズレベルで高品質な拡張機能を構築する新たな開発体験を提供します。

現在プライベートプレビュー段階にあり、LLM を外部システムに接続することでリアルタイムデータの取得やデータ処理アクションの実行が可能になります。これは、ReAct や LangChain などのフレームワークとの互換性も持ち合わせています。

以下、4点ついて紹介されました。

1. 作成
2. 構築
3. 評価
4. 最適化
   
   拡張機能の作成手順
   それぞれについて、以下で紹介します。

1.作成

「作成」では、LLM を外部のデータソース、API、またはシステムに接続するための拡張機能を設計します。これにより、LLM はリアルタイムデータへのアクセスや、トランザクションの実行、プライベートデータベースへのアクセスが可能になります。また、ChatGPT のプラグインと互換性があると紹介されました。作成には、独自に拡張機能を作成する場合と Google やパートナーが作成、提供するケースがあります。

2.構築

「構築」では、開発者は拡張機能を LLM に統合し、ライブデータをさまざまなアプリケーションに効果的に利用できるようにします。API の設定、適切な拡張機能の選択、およびモデルの推論とランタイム環境への組み込みを含みます。さらにはモデルの推論プロセス（リーズニング）を強化するための構成も含まれます。リーズニングを行う能力は、モデルが複雑な問題を解決し、より人間に近い意思決定をすることを可能にするため、非常に重要です。

3.評価

「評価」では、拡張機能の性能を評価することに焦点を当てます。ここでは、拡張機能が企業レベルのコントロール、セキュリティ、およびプライバシーの要件を満たしていることを確認するために、精度と機能性を測定するテストデータセットを作成することができます。それにより、精度の高い拡張機能を作成することができます。

4.最適化

「最適化」段階では、評価から得られたフィードバックを使用して拡張機能を洗練させ、改善します。開発者は API の定義を調整したり、LLM 内の推論エージェントの設定を微調整したり、パフォーマンスとリソース消費のバランスを取る最適な組み合わせを見つけていきます。

3. 拡張機能の事例紹介

この章では、拡張機能の事例について紹介された内容をまとめます

拡張機能で実現可能な代表的なアプリケーションとして、「検索拡張生成(RAG)」と「データ分析のためのカスタムアプリケーション」について述べられました。

拡張機能で実現可能な代表的アプリケーション

検索拡張生成（RAG）の事例

フォーミラEとテレメトリックデータのやり取り
検索拡張生成（RAG）の事例としてフォーミラ E とテレメトリックデータのやり取りが紹介されました。また、新しい体験を創出するための拡張機能として現在利用されている RAG の例として Manhattan と GitLab を述べられました。詳しく知りたい人は以下の詳細のリンクをご参照ください。

データ分析のためのカスタムアプリケーション

データ分析のためのカスタムアプリケーション
データ分析のためのカスタムアプリケーションではデータアナリストのためにデータ理解を効率化する自然言語による分析の可視化を可能にするアプリケーションについて述べられました。

まとめ

この記事では、Google Cloud Next Tokyo '23で紹介された Vertex AI Extensions の概要とセッション内容をご紹介しました。Vertex AI Extensions は企業が LLM を現実世界のデータと結び付け、リアルタイムのデータ分析やアクション実行の能力を大幅に向上させるための強力なツールであり、その潜在的な利用範囲は広大であると言えます。また、Next Tokyo ’23 セッション動画は 12 月中旬に公開を予定されているので、ぜひご覧ください。