👋
GX Core vs GX Cloud 機能比較
はじめに
データ品質をPythonでチェックできないかと思い、検索していたところ、「Great Expectations」というものがありました。
「Great Expectations」にはオープンソース版として自由にカスタマイズ可能な GX Core と、SaaS 型のマネージドサービスとして手軽に始められる GX Cloud があるようなので両者を比較したいと思います。
GX Core (OSS版) とは
GX Core は、Great Expectations のオープンソース版です。
- Python ライブラリとして提供され、自分のローカル環境やオンプレミスサーバー上で動作します。
- コード（Python／YAML）で期待値を定義し、CLI や Jupyter Notebook からバリデーション実行が可能。
- 完全無料で利用でき、Data Docs（HTML レポート）やデータプロファイリングなど豊富な機能を備えます。
GX Cloud (クラウド版)とは
GX Cloud は、Great Expectations 社が提供するフルマネージドの SaaS プラットフォームです。
- ブラウザベースのノーコード UI で期待値定義・検証実行・結果可視化ができる。
- バリデーションのスケジューリングやアラート通知、履歴管理・トレンド分析といった運用機能を標準サポート。
- Developer（無料）プランがあり、手軽に始められる一方、Team／Enterprise プランへのスケールも可能。
主要機能・特徴の比較
| 項目 | GX Core (OSS版) | GX Cloud (クラウド版) |
|---|---|---|
| 提供形態 | Pythonライブラリ（ローカル／オンプレ） | フルマネージドSaaS（ブラウザUI＋クラウドエンジン） |
| UI／操作 | CLI／Jupyter Notebook | ノーコードのブラウザUI |
| 期待値定義 | Pythonコード／YAML | ウェブUI上でノーコード定義（必要に応じてコード連携可） |
| バリデーション実行 | スクリプト or CLI／外部オーケストレーター連携 | クラウド上でワンクリック or スケジューリング |
| レポート生成（Data Docs） | HTML生成→手動ホスティング | 自動ホスティング＆ブラウザで即時閲覧 |
| 履歴管理・トレンド分析 | 自前で集計／保存 | 実行履歴を自動蓄積＋グラフィカルにトレンド可視化 |
| データプロファイリング | 内蔵プロファイリング機能 | プロファイリング結果をUIで確認 |
| スケジューリング | なし（cronやAirflow等を別途用意） | 標準機能として定期実行設定が可能 |
| 通知・アラート | なし（外部連携 or カスタム実装） | 検証失敗時のアラート通知を標準サポート |
| コラボレーション | Git等でコード／ドキュメント共有 | チームスペース／RBAC／監査ログ |
| データ取り扱い | 完全ローカル処理 | データはユーザー環境内で処理（外部へのアップロード不要） |
| 対応データソース | Pandas, CSV/Excel, Spark, 各種DB, S3/GCS 等 | 主にクラウドDB（Snowflake, Redshift, BigQuery など）＋GX Core互換ソースも利用可能 |
| 拡張性・カスタマイズ | Pythonで独自Expectationやバックエンド実装が可能 | GUI範囲内は限定的／高度なカスタムはCoreで実装し連携 |
メリット・デメリット
GX Core
-
メリット
- 無料＆オープンソース
- オフライン／ローカル完結でデータを外部に出さない
- 高度なカスタマイズ性（独自Expectation作成可）
- 豊富な組み込み機能（データプロファイリング、Data Docs 等）
- 各種オーケストレーターと容易に統合
-
デメリット
- 初期設定・学習コストが比較的高い
- コード必須のため非エンジニアにはハードルが高い
- スケジューリング・通知機能を自前で用意する必要あり
- 大規模データ検証ではチューニングが必要
- 環境構築・運用トラブルは自己解決が基本
GX Cloud
-
メリット
- 個人開発だと無料(3人までだと無料らしい)
- ノーコードの直感的なブラウザUI
- ワンクリック期待値編集＆検証実行
- 履歴管理＋トレンド可視化ダッシュボード
- 定期実行スケジューリング＆アラート標準搭載
- チームコラボレーション機能（RBAC／監査ログ）
- SOC2準拠のセキュリティ／データはユーザー環境内に留まる
- GX Coreエンジンの恩恵を自動アップデートで享受
-
デメリット
- オンライン必須（オフラインでは利用不可）
- GUI対応データソースや機能範囲に一部制限あり
- 無料プランは利用量・機能に制限
- 高度カスタム検証はCore連携が必要
- サービス依存＆仕様変更リスク
- 単一ユーザー用途ではオーバースペックの場合も
終わりに
次回はGX Core (OSS版) について記事を書いてみたいと思います。
Discussion