データエンジニアリング Scraps
y.nakada@raksulE-Stat 国政情報 と 国土数値情報、Snowflake 無料共有っていいな
y.nakada@raksulRESAS(地域経済分析システム) のデータも Snowflake とか BigQueryで公開してくれないかな
y.nakada@raksul指標の一元化、スタースキーマとワイドテーブルの併用など、似たような悩み抱えているのでとても参考になる。
y.nakada@raksul今後は BigLake + Dataplex というかたちになっていくのかな？
y.nakada@raksul分析系データモデリングの歴史がコンパクトにまとまってて良い
y.nakada@raksulre_data という dbt と連携して データの異常がないかモニタリングするツール。
なかなか良さげ。dbt にこういう機能組み込まれてきそうな気もするんで、採用はもう少し様子見かな。
y.nakada@raksulopen-metadata 0.9.0 で メトリクステストとテスト結果保存、用語集機能が対応された。
成長スピード早いな。そろそろトライアルしてみたい。
y.nakada@raksuly.nakada@raksuldbt と連携した ER Maps というツールつくってる人もいるな
y.nakada@raksulデータ分析基盤のオブザーバビリティ整理してみようかな
y.nakada@raksulBigQuery の search index と SEARCH 関数 、長文テキスト保存しているところに適用してみようかな
y.nakada@raksulCloud Run と Croud Run jobs の関係は、 ECS Task と AWS Batch みたいなもんなのかな。
重めのバッチ処理ができたら使うことになるかもしれないな。
y.nakada@raksullightdash 進化したら導入ありかもな
- dbt の schema.yml に dimension と metrics 定義（Looker ML書くよりいい！）
- OSS版がある
以下がRedash相当になれば、Redashから乗り換え検討しようかな
- ビジュアライズ機能
- Slack通知
- アラート
- SQLを直接書ける（SQL Runner から Chart 検討してるっぽい）
y.nakada@raksulData Vault を dbtvalut BigQuery でやるときの入門
y.nakada@raksul文字列の類似性判定するBigQuery UDF。レーベンシュタイン距離をJavascriptで計算してる。タイプミス検出とかに使えそうだな。
y.nakada@raksulelementary というツール、dbt のテスト結果の可視化と、異常検知機能があって良さげ
Z-score 使っったやつですね。
異常検知は Z-score使ったものか
データ品質だけでなく、業務的な意味でも使えるかも
y.nakada@raksulsnowflake なら datameer も良さそう
y.nakada@raksulデータモデリングについてすごい良くまとまってる
y.nakada@raksulBigQueryでテーブル変更履歴が取れるようになるのか。
Slowly Changing Dimensions とかに使えるかもだけど、更新は残らないのか。
常にDelete -> Insert とかで行けるかもしてないが、Deleteはコスト高いから微妙かも。
y.nakada@raksulBigQueryで冪等性の担保の仕方がまとまってる。
y.nakada@raksulGCP の Workforce Identity で AADやOkta連携できるのか
まだ pre-GAですが。
y.nakada@raksulCommunity contributed UDFがBigQuery上のbigquery-public-data.persistent_udfs データセットで利用可能になったのか
y.nakada@raksulデメンショナルモデリングをデータモデルからSQLでしてて面白い
y.nakada@raksul予期しないスキーマの変更でのデータ品質の課題はあるあるなので、データコントラクトが広まっていくかもな。