く＠ちゅらデータです。
弊社には、ギルドっていう横軸組織があります。そこの定例で、データ界隈を中心に、関係しそうな話題などを共有しています。
まぁ、おもに私がこれ良さそ〜と思う話題をメモっていてそれを共有しています。
それ、公開しちゃってもいいんじゃね？って思ったので、記事を書いていこうかな〜と思っております。
※テンプレ
質問・相談事項
メンバーから、SQL初学者にSQLを学ぶのに良い教材はない？って相談があったので
がいいよ〜とオススメしました。
実は私大学時代に、DBな単位をおとして、SQLってめちゃくちゃ苦手だったんです。
で、某ブログサービスをやってWeb系でSQL書いてましたが、Web系でSQLは極力シンプルにして、レイテンシ命でやってたから、複雑なSQLも書いたことなかったです
※JOIN禁止、IN禁止だった
で、そこでもですが、SQLを学んだときに使ったのが、こちらの本（の第一弾とかだったかな）
手で書きながら、書き順とかすごくSQL脳な考え方が会得できたです。
そして、現職になってから、また学び直してます！
今週のデータ界隈のトピック
- ( 2023/12/15 Fri ) Build Meetup
- 「データエンジニア界のインフルエンサー直伝！Snowflake Data Cloudの最新機能ご紹介」
- わたし、LT出でます！
- 内容は「External Network Accessのすゝめ」です！
- (2023/12/21 Thu) 全世界初！みんなでStreamlitのコントリビューションを体験しよう！Amandaも来るよ！
- StreamlitのAmandaさんが来るMeetupってばよ！！
- (2024/1/16 Fri)みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP！【大好評につき定員再び増枠】
- 弊社CTO・菱沼も登壇する、化け物イベント
- すでに500名を超えてます
- (2024/1/31 Wed) BUILD Japan (Snowflake Virtual Event)
- Coming Soonらしい！
-
ISUCON13で優勝しました(チーム NaruseJun)
- 弊社メンバーもISCON13に参加したらしいのですが、その優勝チームの話、すげーーーー面白かったです
- DNS水攻め攻撃 とかって実は初めて聞きました
- DNSっていまは、データベースで管理したりしてるんですね・・・30年前でDNSサーバとか構築したとき（研究室のDNSサーバ）は、ファイルベースだったんよね・・・・
- それ以外もテクニックが満載でめちゃくちゃ面白かったです
- ISUCON : いい感じにスピードアップするコンテスト だそうですｗ
今週のGCP
- Vertex AIの言語モデルで、Vertex AI Searchのdata storeを利用したGroundingが利用可能になった (プレビュー)
- Grounding in Vertex AI | Google Cloud
- Grounding というのは、RAG（Retrieval-Augmented Generation）と同じことを指すっぽい
今週のSnowflake
今週のリリースノート
- JSON および CSV のスキーマ検出 - GA
- INFER_SCHEMA 関数の一般提供が、Apache Parquet、Apache Avro、ORC、JSON、CSV のすべてのファイル形式に適用
- Table schema evolution - GA
- Iceberg tables — Preview
- さまざまなコンピューティング エンジン間で相互運用性を備えたデータの単一コピーを維持するのに最適
- SnowflakeとDatabricksで同じテーブル？を共用できる
- Self-service: Enabling the ORGADMIN role - GA
- Self-service: Deleting an account — GA
- Row access policies: Reference a protected mapping table in a row access policy - GA
- Finalizer Task - GA
- DAGが成功・失敗に関わらず実行される。Javaでいうfinally
- Python Snowpark Local Testing Framework - Preview
- Localでテストができるように
Streamlit in SnowflakeがGA
BUILD (@America)
- 2023/12/6, 12/7で開催
- こんなセッションがある
- How to use Apache Iceberg with Snowflake and AWS
- LLM Bootcamp - Part1, Part2
- Snowpark Container service さわれるみたい。 めっちゃ楽しそう
- etc
Tips
ちゅらデータのたくまんさんの記事。BIでダッシュボードの表示が -5秒 とかになるので、めちゃくちゃ効果の高い小技とのこと！
今週のセキュリティ
今週のデータカタログ
- AI recommendations for descriptions in Amazon DataZone (Preview)
- Amazon DataZoneのビジネスデータカタログに登録するアセットについて、アセットの概要とスキーマのカラムの説明を生成系AIが生成してくれる
今週のデータモデリング
dbt
来るv1.8では、ユニットテストが投入予定。その実装で dbtのサブコマンドが、'unit-test'が、'test'へ統合されるとのこと
いやー、どんな実装になるんでしょうね
Discussion