 組織におけるデータ利活用が急速に拡大する中、データ基盤への関心がますます強まっています。
 本書では、現役のデータエンジニア２名が、クラウドデータ基盤サービスであるSnowflakeを用いてデータ基盤の構築方法を紹介します。
 データ利活用のみならず、大規模なデータ処理や、機械学習におけるデータパイプライン構築などに興味のあるエンジニアの方へのガイドブックとなることを目指しています。
 
 フロント・サーバー・インフラを触ってきたエンジニアの皆さん、次はデータやりましょう！！
 
 第1章：データ基盤の概観
 データ基盤とはどういったもので、どのような技術で構成されるのかについて紹介します。
 
 第2章：Snowflakeの基礎
 クラウド型データウェアハウスサービスであるSnowflakeで出来ることと、特徴について紹介します。
 
 第3章：Snowflakeの導入と操作
 実際にSnowflakeのトライアルに登録していただき、基本的な使い方についてサンプルコードと共にご説明します。
 
 第4章：権限管理とガバナンス
 Snowflake上でのデータアクセスコントロールの方法とプラクティスについてご紹介します。
 
 第5章：実践的データ基盤の構築
 Snowflakeおよび周辺の技術を利用した、実践的なデータ基盤の構築方法についてサンプルコードと共にご紹介します。
 Terraform / schemachange / dbt などの使い方についてご紹介します。
 
 第6章：ETLとReverse ETL
 データ基盤の構築に欠かせないETLツールについてご紹介します。
 
 第7章：データオーケストレーション
 データ基盤の構築に欠かせないワークフロー・オーケストレーションツールについてご紹介します。
 
 第8章：BIツール
 データ基盤の構築に欠かせないBIツールについてご紹介します。
 
 第9章：データアプリケーションと分析
 Snowflakeを使いながら、より実践的なアプリケーションの作り方についてサンプルコードと共にご紹介します。
 Snowpark for Python / Streamlit などの使い方についてご紹介します。
 
 【注意】
 本書の内容は2023年10月執筆時点のものであり、その後のサービスアップデートなどにより機能変更されている可能性があります。ご了承ください。
 今後、随時アップデートを行う予定ですが、最新情報を保証するものではありません。。
 

ゼロから始めるデータ基盤 - Snowflake実践ガイド

はじめに

📘第一章 データ基盤の概観

📰データ基盤の目的

📰データ基盤を構成する技術

📰参考文献

📘第二章 Snowflakeの基礎

📰データウェアハウス

📰ストレージとステージ

📰ストリーミングとワークフロー

📰SQL以外でのデータ処理

📰データ共有

📰Snowflakeのユースケース

📰Snowflakeの特徴

📘第三章 Snowflakeの導入と操作

📰Snowflakeアカウントの作成

📰Snowsightを使おう

📰Snowsightでデータを格納する

📰データシェアリングを使ってみよう

📰Snowsight以外のインターフェース

📰SnowflakeのSQLにおける注意点

📘第四章 権限管理とガバナンス

📰ロールに付与できる権限

📰注意すべき概念

📰実例

📰役割ロール・アクセスロールモデル

📰データに対する高度なアクセス制御

📰コストのガバナンス

📘第五章 実践的データ基盤の構築

📰データ基盤の構成例

📰Snowflakeの構成管理

📰マイグレーションツール

📰開発環境の作成

📰データパイプラインワークフローの管理

📰dbtを使ったデータパイプラインの構築

📰dbtのCI/CD

📰データ基盤に関する情報収集

📘第六章 ETLとReverse ETL

📰ETLツールの分類

📰具体的なツール

📰それぞれのETLツールの特徴まとめ

📰バッチ取り込みとストリーム取り込み

📘第七章 データオーケストレーション

📰データオーケストレーションツールの選定基準

📰データパイプラインのインフラ管理

📘第八章 BIツール

📰BIツールの分類

📰ハイコード

📰ノーコード

📰ローコード

📰BIツール比較表

📘第九章 データアプリケーションと分析

📰APIエコノミーとMACHアーキテクチャ

📰APIエコノミーとデータシェアリング

📰データ指向プログラミング

📰Snowflakeでのアプリケーション開発

📰SnowflakeでPythonを実行する

📰Snowpark Python

📰dbt Python model

📰Streamlitを使ったデータアプリケーション

📰その他のトピック

あとがき

snowflake

データ基盤

データエンジニアリング

サークルゆきやま