Vertex AI Feature Store新旧比較：より進化した特徴量管理とは？

Vertex AI Feature Storeについて調べていると、従来版と新バージョン(2023/10月にリリース)の二つがあることに気づきました。どのような点が異なるのか気になったので調べてみました。

従来版（レガシー版）と新バージョンの比較を以下で載せていきます。

1. データモデルとリソース階層

• 従来版

  • リソース階層は以下の3つで構成される:
    • Featurestore: 特徴量ストア全体を管理するリソース。
    • EntityType: 顧客や商品のような、特徴量が属するエンティティを定義。
    • Feature: 特定の特徴量（例: 年齢、価格など）。
  • 特徴量の作成・管理は階層的で、柔軟性が限られる。

• 新バージョン

  • 新しいリソース体系として以下を採用:
    • FeatureOnlineStore: リアルタイム推論向けに低レイテンシで特徴量を提供。
    • FeatureView: 特徴量のサブセットを定義し、オフライン/オンラインストアで共有可能。
  • 特徴量のビューを柔軟に定義可能で、構造がよりシンプルになった。

---

2. オフラインストア

• 従来版

  • オフラインストアは Vertex AI Feature Store 内で独立して存在。BigQuery や Cloud Storage をデータソースとしてインポートして使用。
  • 必要に応じて外部からデータを移動する手間が発生。

• 新バージョン

  • オフラインストアとして BigQuery をネイティブに統合。
  • 既存の BigQuery テーブルを直接活用でき、データの移動が不要。
  • 特徴量の更新やクエリ実行が BigQuery 標準の SQL で可能。

---

3. オンラインサービング

• 従来版

  • オンラインストアは Cloud Bigtable を利用。
    • 特徴量のスケールやレイテンシが Cloud Bigtable の制約を受ける。
    • 更新頻度が高い特徴量の管理に不向き。

• 新バージョン

  • オンラインストアが Bigtable から独立した新しいインフラを採用。
    • 生成AIやリアルタイム推論に最適化。
    • オンラインストアを構成する際、より細かい設定が可能。

---

4. ベクトル検索

• 従来版

  • 特徴量ストア自体でベクトル検索を行う機能は提供されず、別途独自で構築する必要あり。
  • 類似度検索や埋め込み（embedding）の管理が難しい。

• 新バージョン

  • ベクトル検索がネイティブにサポート:
    • BigQuery の double 配列型でエンベディング（ベクトル）を管理。
    • ベクトル類似性検索を BigQuery ML や SQL で実行可能。
    • レコメンデーションシステムや検索エンジンの構築が簡単。

---

5. モニタリング機能

• 従来版

  • 特徴量の分布やドリフト検出を標準機能としてサポート。
  • モデルや特徴量の品質を Vertex AI 内で管理できる。

• 新バージョン

  • 特徴量のモニタリング機能は提供されていない。
    • モニタリングが必要な場合は、BigQuery で独自にクエリやジョブを設計する必要がある。
    • BigQuery のスケジュールクエリ機能を活用可能。

---

まとめ

• 従来版

  • 主に、バッチ推論や特徴量の管理に適している。
  • リアルタイム性の高いユースケースではパフォーマンスが制約される場合がある。

• 新バージョン

  • リアルタイム推論や生成AIのような 低レイテンシと高スループットが必要なワークロードに最適。
  • BigQuery との統合により、分析と推論の両方で一貫性のある特徴量管理が可能。