Google Cloudで検索基盤を作ろうとして迷ったら(Vertex AI Serach,Vertex AI Vector Search)
こんにちは、atama plus でデータエンジニアをしている kumewata です。
最近 Google Cloud 上の検索基盤を検討した時に、いろいろ迷いポイントがあったので、同じところで迷う人を減らせたらと思い記事を書いてみました 🙋
迷いポイントその 1: Vertex AI って N 個あんねん
まず「google cloud 検索エンジン」と Google 検索してみると上から何番目かに「Vertex AI Search」が出てきます。
機能紹介を見てみると、手元のデータでお手軽に検索基盤を用意できることがわかります。
企業のアプリやエクスペリエンスのために Google 品質の検索機能の利用を開始できます。セマンティック検索技術における Google の深い専門知識と数十年にわたる経験に基づいて構築された Vertex AI Search は、構造化データと非構造化データの両方のコンテンツで、より関連性の高い検索結果を提供します。
ドキュメントを眺めているとベクトル検索もできることを発見します。
リンク先に飛んでみるとVertex AI Vector Searchがあることがわかります。
ここで気付けたらすごいんですが、Vertex AI Vector Search と Vertex AI Search は異なる料金体系で提供されるツールセットの、全然別のサービスです。
- Vertex AI Search は AI Applications に含まれるフルマネージドな検索基盤を利用できる機能です
- 数分で使用を開始でき、豊富なカスタマイズ機能で検索体験を特定のニーズに合わせて調整できます
- Vertex AI Vector Search は Vertex AI プラットフォームに含まれるフルマネージドではないベクトル検索用の機能です
- Vector Search が属する Vertex AI には、ベクトル検索以外にも、LLM や機械学習を活用するための複数のツールセットが用意されています
Vertex AI は、ML モデルと AI アプリケーションのトレーニングとデプロイを行い、AI を活用したアプリケーションで使用する大規模言語モデル(LLM)をカスタマイズできる機械学習(ML)プラットフォームです。Vertex AI は、データ エンジニアリング、データ サイエンス、ML エンジニアリングのワークフローを統合し、チームによる共通のツールセットを使用したコラボレーション、 Google Cloud のメリットを利用したアプリケーションのスケーリングを実現します。
さらに Vertex AI Studio というものもありますが、今回は検索関係のサービスに絞る意図で説明を割愛させてください。
迷いポイントその 2:Vertex AI Search 周辺の名前変わりすぎ
さきほど AI Applications の名前が出たのですが、この名前に至るまで何度か変更がありました。そのため、検索すると出てくる記事のみならず、公式ドキュメントでも追従できていない場所が複数あります。この変遷を知っていないと、AI Applications の Vertex AI Search のことを指している名前の違う表記に混乱することになります。
特に API や IAM を利用する場合は、「Discovery Engine」という毛色の違った名称であることに注意してください。
G-gen さんの記事より引用
Vertex AI Search を含むプロダクトである AI Applications は、Preview 時代には Generative AI App Builder または Gen App Builder と呼ばれていましたが、2023 年 8 月 29 日の GA 時に「Vertex AI Search and Conversation」と改称されました。さらに、2024 年 4 月に「Vertex AI Agent Builder」に改名されました。
その後の 2025 年 4 月 2 日、プロダクト名称が現在の「AI Applications」に変更されました。この変更により、ドキュメントやコンソール上の表記が変更されますが、API エンドポイント名(discoveryengine.googleapis.com)等は変更されません。また IAM ロール名や API 名などは、Discovery Engine(ディスカバリーエンジン)という名称が使われています。これらはすべて、同じものを指していると考えて差し支えありません。
迷いポイントその 3:思ってたよりコストかかってるけどなんでなん
先日社内でベクトル検索の検証をしていた時に、数日で数万円分の料金がかかっていたことがありました。原因としてはインデックスデプロイ先のVMのマシンタイプに、二番目に安いe2-standard-16を選んでいたためでした(一番安いe2-standard-2の約8倍)。
特に検証用や開発段階でコストを抑えたい場合では、Vertex AI Vector Searchのマシンタイプ指定は要チェックです。
逆にVertex AI Searchでは無料枠や料金体系の違いにより、弊社では今のところかなり安く抑えられてます。
以下に簡単な比較表を載せますが、ご利用の際はぜひ公式ドキュメントを参照ください🙇
Vertex AI Vertor Search の料金体系
アメリカ大陸の料金(1 時間あたり)
リージョン | e2-standard-2 | e2-standard-16 | e2-highmem-16 | n2d-standard-32 | n1-standard-16 | n1-standard-32 |
---|---|---|---|---|---|---|
us_central1 | $0.094 | $0.75 | $1.012 | $1.893 | $1.064 | $2.128 |
us_east1 | $0.094 | $0.75 | $1.012 | $1.893 | $1.064 | $2.128 |
us_east4 | $0.10 | $0.845 | $1.14 | $2.132 | $1.198 | $2.397 |
us_west1 | $0.094 | $0.75 | $1.012 | $1.893 | $1.064 | $2.128 |
us_west2 | $0.113 | $0.901 | $1.216 | $2.273 | $1.279 | $2.558 |
us_west3 | $0.113 | $0.901 | $1.216 | なし | $1.279 | $2.558 |
Vertex AI Search の料金体系
基本機能だけに絞って書くと、クエリ実行数とインデックスストレージの従量課金になります。
どちらも無料枠があるため、検証や小規模利用なら安く済ませることができます。
2025/7 現在の単価は以下になります。オプション機能や制約などの最新情報は公式ドキュメントを参照してください 🙇
プラン | 料金 |
---|---|
Search Standard エディション | 1,000 クエリあたり $1.50 |
Search Enterprise Edition に Core Generative Answers(AI モード)が含まれる |
1,000 クエリあたり $4.00 |
高度な生成回答(AI モード) (Standard エディションと Enterprise エディションの両方に追加可能) |
ユーザー入力クエリ 1,000 件あたり +4.00 ドル |
※ アカウントあたり毎月 10,000 件のクエリを無料で利用可能
項目 | 料金 |
---|---|
インデックス ストレージ | 未加工データの 1 GiB あたり $5.00 / 月 |
※ 1 か月あたり 10 GiB の無料割り当てあり
まとめ:結局何から使えばいいの?
全文検索やセマンティック検索をパッと試したい
- Vertex AI Searchがおすすめです
- 様々な種類のソースデータで使えます
- 検索もすぐに試せます
- 画面構成をさっと作れたり、ウィジェットもあります
- カスタマイズ性は高くないので、細かいチューニングまでしたくなったら別サービスの検討タイミングだと思います
- 元データがBigQueryにある場合は、BigQuery上で検索インデックスを作る手もあります
ベクトル検索をやりたい
-
Vertex AI Vertor Searchが使えます
- コストに注意
- インデックスは自分で作る必要あり
-
実はBigQueryでもベクトル検索できます
- データの制約を確認した上でご利用ください
今回Google Cloudに絞って紹介しましたが、コストを抑えつつマネージドなものを選択したい場合は、自分で見たところだとElastic Cloud Serverlessもよさそうでした。
以上、最近検索楽しいなと思い始めてきたデータエンジニアからの紹介でした🙋
Discussion