がく＠ちゅらデータです。
弊社には、ギルドっていう横軸組織があります。そこの定例で、データ界隈を中心に、関係しそうな話題などを共有しています。
まぁ、おもに私がこれ良さそ〜と思う話題をメモっていてそれを共有しています。
それ、公開しちゃってもいいんじゃね？って思ったので、記事を書いていこうかな〜と思っております。
※テンプレ
と、Vol.6まで書いたのですが、夏休みでずっと子ら（幼稚園）家にいて、夜中はもう疲れて寝てしまい・・・なんてことをしていて、再開せにゃなーとおもってたら、なぜか冬になっていた・・・・
たいむりーーーーーーぷ！！！！！！！！
そう、タイムリープなのですよ、うん、時空の旅人なんです、はい（屍
今週のデータ界隈のトピック
今年もアドベンドカレンダーの季節になりました
※私は今年は、dbtとちゅらデータで書きましたが、Snowflakeでも書きたいなって思ってます。Snowflakeとdbtは、2枚目までいってますね
イベント
- (24/1/16 20:00 - ) みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP！
- すでに350人超、化け物コンテンツですね
- 弊社CTOろあちゃん（菱沼）も参戦予定
- 昨年も確か開催、そうそうたるメンツなのでこれは必聴ですね
その他
Fundamentals of Data Engineeringの社内読書会をやったとのこと。
2023年2月から2023年11月まで・・・・これをずっと継続してなさるなんて凄い！！！！
事前準備無しで、読み合わせる・・・これは私も「データ基盤への処方箋」でやるスタイルで、一番皆が読んで習得には一番いい形なんですよね
今週のGCP
- GKE以外のインスタンス等に影響があるかは不明
- debianだとまだ修正はでていない（2023/11/29 16時現在）
「試験ガイドと公式ドキュメントを熟読することが一番大事」
→ やらにゃねぇ
G-gen杉村さんの記事。
DevelopersIOと並んで、特にGoogleCloud系では、最近富に存在感をだしてらっしゃいますよね
わかりやすい記事もとても多い
Dataplex(データ品質管理） と DataHub（メタデータ、リネージ）で実現
Dataplexは、
- データメッシュ
- データカタログ
- データプロファイリング
- データ品質管理
- テスト定義をSQLに変換してテストなど
GCPにおいては、ドキュメント量課金だが、なんトークンまで投入できるかはわかりにくかった
そこで、トークンがどのくらい「消費」されるかを見る機能
Azureとかには元々あったものらしい
ちなみに、Azureはトークン課金らしい
今週のAWS
今日は圧倒的に、Re:Inventですね（開催中）
→ Amazon S3 Express One Zone がGA。リクエストコスト 50%減、アクセススピード10倍
（独り言） Snowflakeで外部テーブルに使ったりして、パフォーマンスに差異があるか試したい
- Amazon Bedrock
- Amazon Q
- Redshift Zero-ETLの仲間が増える（MySQL、DynamoDB）
- Amazon Data Zone AI recommendationがPreview
- LLMによる説明などの自動生成可能
今週のSnowflake
2023/12/15(Fri) Build Meetup
Felipeが来日ですよ！
- MediumやSnowflake、全世界的にもSnowflake関連でNo.1ぢゃないですか？
- GA4 → Snowflake の記事とかも書かれてます
- 弊社菱沼、kajiyaさんもFelipeと新機能のデモを行うそうです
- 私も参加し、LT登壇予定
- また、External Network Access ネタで行きます。
リリースノート
- Native Apps: Support for reference and privilege validation in the manifest file — Preview
- Schema detection for JSON and CSV — General Availability
- Table schema evolution — General Availability
- Iceberg tables — Preview
- Self-service: Enabling the ORGADMIN role — General Availability
- Self-service: Deleting an account — General Availability
- Key pair authentication: Improved troubleshooting
- Structured types — Preview
- Row access policies: Reference a protected mapping table in a row access policy — General availability
- Recurring subscription-based pricing plans for paid listings —– General Availability
すでにパブリックプレビューになっていたものが、GAになったのが多いですね。
ただ、今回の目玉としては Iceberg Table でしょうか
（Structured types — Preview も Iceberg関連）
その他
階層問い合わせ connect by句 って使ったことあります？
私はありません！！！！（恥
一番好きなSQL句は、QUALIFY です
Snowflake界隈でも大活躍している、データモデリングといえば？ な peiさんの記事
こちらはSELECT dev のSaaS
ただの可視化ツールではありませんでした。導入しただけで、ウェアハウスの利用料が最大40%程度削減ができたりと、可視化で留まらないパフォーマンスを出してくれてるので、コストでお困りの方は必見です。また、ウェアハウスのサイズが大きいほど効果的です。
これだけでもワクワクしません？
詳しくは記事を読んでくださいね
今週のセキュリティ
を読んで、最小権限の付与とか、コンパートメントとかしっかりしないと事故るで〜
その他
今週のBI（Tableau）
Tableau Server と SnowflakeをPrivateLinkでつなぐ・・・な構成はみたことあったのですが、Tableau CloudとSnowflake間をPrivateLinkをつなぐってのは・・・？
と思っていたのですが、Tableau Brigeというプロダクトを使って実現できるそうな
※なかなか複雑・・・・・
Tableau Cloud使うなら、Tableau CloudからのグローバルIPを許可IPに設定して、Snowflakeへの接続に関して制限をかける・・・ぐらいしか思いつかなかったです。
まだまだもっと勉強せにゃならん
Discussion