3分でわかるSnowflake第8回 高度な機能：Streams・Tasks・Materialized Viewsをサクッと解説

対象読者

• データエンジニア、ETL開発者、BI担当者
• Snowflakeを活用したデータパイプラインの自動化を検討している技術者
• クエリパフォーマンス改善や運用効率化を目指す管理者

説明すること / 説明しないこと

説明すること

• Streams、Tasks、Materialized Viewsの概要と活用方法
• 自動化とパフォーマンス最適化のベストプラクティス
• よくある失敗と回避策

説明しないこと

• Snowflakeの内部実装やアルゴリズムの詳細
• 他社DWHとの詳細な比較やベンチマーク
• 高度なSQLチューニングやパフォーマンス最適化手法

1. なぜ高度な機能が必要なのか

Snowflakeは、リアルタイムデータ処理と自動化を実現する高度な機能を備え、データ活用の効率化と迅速な意思決定を支援します。
本記事では、以下の3つを中心に解説します。

• Streams：変更データキャプチャ（CDC）
• Tasks：スケジュール実行
• Materialized Views：クエリ高速化

2. Streams：変更データキャプチャ（CDC）

Streamsは、テーブルに対するINSERT、UPDATE、DELETEの変更履歴を追跡し、増分データ処理やETLパイプラインの自動化を可能にするオブジェクトです。

特徴

• 用途：
  • データレイクからの増分ロード
  • ETLパイプラインの自動化
• 保持期間：最大90日（Time Travelと同じ）

サンプルSQL

CREATE STREAM orders_stream ON TABLE orders;
SELECT * FROM orders_stream;

3. Tasks：SQLジョブのスケジューリング

Tasksは、SQLステートメントを定期的に実行するための仕組みで、依存関係を持つタスクツリーの構築も可能です。

特徴

• スケジュール指定（例：毎5分）
• 依存関係を持つタスクツリーを構築可能

サンプルSQL

CREATE TASK refresh_orders
  WAREHOUSE = my_wh
  SCHEDULE = '5 MINUTE'
AS
MERGE INTO target_orders t
USING (SELECT * FROM orders_stream) s
ON t.id = s.id
WHEN MATCHED THEN UPDATE SET t.status = s.status
WHEN NOT MATCHED THEN INSERT (id, status) VALUES (s.id, s.status);

4. Materialized Views：クエリ高速化

Materialized View（MV）は、SELECT結果を物理的に保持し、自動更新することで、頻繁に参照される複雑なクエリの応答時間を大幅に短縮します。

特徴

• 頻繁に参照される複雑なクエリを高速化
• Enterprise Edition以上で利用可能
• 制約：JOINや一部の集計関数は非対応

サンプルSQL

CREATE MATERIALIZED VIEW mv_orders AS
SELECT customer_id, COUNT(*) AS order_count
FROM orders
GROUP BY customer_id;

5. ベストプラクティス

• Streams + TasksでETLを自動化
• Materialized Viewsは更新頻度が低いデータに適用
• タスクの依存関係を明確に設計
• コスト監視を徹底（MVはストレージ＋更新コストが発生）

6. よくある失敗と回避策

失敗1：Streamsの保持期間を超えてデータを参照

• 回避策：定期的に処理し、保持期間を超えないようにする

失敗2：Materialized Viewを頻繁に更新するテーブルに適用

• 回避策：更新頻度が低いテーブルに限定

7. サンプルSQL：タスクツリーの構築

CREATE TASK root_task SCHEDULE = 'USING CRON 0 * * * * UTC' AS ...
CREATE TASK child_task AFTER root_task AS ...

8. 次回予告

次回は 「Snowflakeの総まとめと運用ベストプラクティス」 をお届けします。
コスト管理、セキュリティ、パフォーマンス最適化を総合的に解説します。