がく＠ちゅらデータです。
弊社には、ギルドっていう横軸組織があります。そこの定例で、データ界隈を中心に、関係しそうな話題などを共有しています。
まぁ、おもに私がこれ良さそ〜と思う話題をメモっていてそれを共有しています。
それ、公開しちゃってもいいんじゃね？って思ったので、記事を書いていこうかな〜と思っております。
※テンプレ
今週のデータ界隈のトピック
Code Interpreter がマジでヤバイ
マジでやばそうなんだが・・・・・触らなきゃいけないと思ってはいるのですが、まだ禄に扱えていません＞＜
「SQLとか書いてくれ〜」ってやったらすぐできそうなんだけどなぁ
検索を使いこなす、キーワードを選定する、が長らく結構なITスキルだったが、そこが進化してしまって、インターネット老人会所属の私にはつらい！
Qiita Engineer Festaを盛り上げよう！技術ブログをたくさん書くコツ共有します
弊社でももっとテックブログを公開していってほしいなぁ〜とは思っていて、こんな記事を紹介させてもらいました。
自分のスタイルは 「人に読んでもらう」ってことはあまり考えず、「将来の自分のための作業メモや翻訳メモ」 って感じで書いてます。
書いているうちに慣れてくるので、とりあえず書くことを習慣化して・・・・とは思っていますが、なかなかハードルは高いだろうなぁ・・・とは思っています
が、まぁ記事を書いていたらいつの間にか［ブログ読んでます！」なんて言われて嬉しい思いができるので、私はこれからも書いていければ〜と思ってます。
ビッグデータカンファレンス「SPECTACLEs 」 presented by unerry, Inc.
Snowflake絡みで存じ上げていた島田さんがいつの間にか転職なさっていて・・・・DataCleanRoomについて登壇されます。
他には、明日11時よりデジ庁で活躍されてる樫田さんの講演があったり、楽しみです！！
今週のGCP
「 Google Cloud で始める！AIを活用した売上予測・需要予測」ハンズオンセミナー開催レポート | DATUM STUDIO株式会社
弊社社長の真嘉比がおこなったハンズオンセミナーの内容、6月の頭に開催されたもののレポートですね
BigQuery 価格改定
SKUで記載
UAがとまり、GA4に切り替わった
結構阿鼻叫喚になると思ってたのですが、私のTwitterのTLでは、あまり騒ぎにはなっておらず・・・・
皆さんちゃんと移行できたのでしょうか・・・それとも私が見えてないだけ・・・の可能性は高いなぁ（汗
今週のAWS
週刊AWS – 2023/7/3週 | Amazon Web Services ブログ
ほんとお世話になっております。ここを見れば、AWS絡みの情報はほぼキャッチアップできますしね
その中では・・・・
AWS Builders Online Series - AWS 初心者向けに特化したイベント | 2023 年 7 月 13 日開催！
AWS CodeBuild now supports GitHub Actions
AWS Glue Crawlers now supports Apache Iceberg Tables
恥ずかしながら、Glueは使ったことがなかったりします・・・・
ETLやカタログのツールですが・・・・
Apache Icebergについては、様々なところで扱われていますね。Snowflakeとか
Twitterでちらっと見かけたのですが、Presto（Trino）のイベントで、Icebergの話をする・・・ってイベントが今年の10月とかにあったと見かけましたね。
前職で、すこしPrestoさわったこともあったので、ちょびっと気になってますｗ
AWS associate試験の受験料が9/29まで半額だよー安いよ安いよー
AWSの勉強、あらためてせにゃなぁ・・・・
今週のSnowflake
2023年7月のリリースノート
- Deleting an Account (Self-service) — Preview
- ORGADMINが必要ですが、コマンドでAccount削除できるように
- いままでは、サポートチケットを上げる必要があり、まいどまいど申し訳無さが・・・・
- 一応、ACCOUNTのUNDROPもあるので、間違って消しても復活可能！（らしい）
- Organization Usage: New REPLICATION_GROUP_USAGE_HISTORY View
- レプリケーションはあまり使ってないので、ぴんとこないのですが・・・・
- New SQL Functions：
- CURRENT_ORGANIZATION_NAME
- CURRENT系のコマンドはいっぱいあります、SnowProCoreでもでます
- GROUP BY ALL
- SQL of the Yearもんですよ！！！まじで
- 今までなんでなかったんだ・・・・と思うぐらいめちゃくちゃいいです、もう離れられない
- 使用上で考えなきゃいけない点は、この構文がSnowflakaだけ（2023年7月現在）、別DBにもっていけない、ベンダーロックインになるので、ここは注意が必要ですね
- CURRENT_ORGANIZATION_NAME
CSVファイルのMATCH_BY_COLUMN_NAMEがPuPr
最近、CSVファイルの取込について、色々進化してますね！
この機能があると、急にあるカラムがCSVからなくなったり、追加されたりしても、投入ができるって感じでしょうか
近いうちに検証してみたいと思います
Snowflakeで階層問合せを試してみた｜分析屋
最近、Snowflake絡みの記事をがんがんにかかれてらっしゃる分析屋さん
（DynamicTablesもすぐに出されていたし・・・ぐぬぬ・・・・って思ってましたｗ
CONNECT BY ってしらんかったーーー
BUILD.local開催（7/11）
参加してきました！
最初のセッションは、若干家を出るのが遅れて、すこし遅れての参加になってしまった・・・・
SnowparkとJupyter notebookをつかってStreamlitや特徴量を触るハンズオンにでましたが大変楽しかったです。
Pythonで記載したものが、SQL化される・・・・
※Pythonの書き方が気持ち悪いぃィィ、SQLならもっと簡単に・・・・なんて思うのは、最近コーディングをやってないからでしょうね。SQLばっかやってるしｗ
しかし、Pythonでの記載は、Lamda式での書き方でしたが、ある意味納得できるもんで、SQLの処理の実行順にそってるなぁ・・・と変なところで感心したものでした
BUILD.localについては、イベントレポートは書くつもりですので、少々お時間をいただければ
便利な関数
-
PREVIOUS_DAY
- 入力日付の前に発生する最初に指定された DOW （曜日）の日付を返します。
-
NEXT_DAY
- 入力日付の後に発生する最初に指定された DOW （曜日）の日付を返します。
標準SQLだけでもかけなくはないけど、書くのめんどくさそう・・・・な関数
とある要件で、「同じ週の月曜日の日付を出せ」な仕様があり、それを実装する時に調べたら、ぼぼまんまな関数がありました^^
今週のBI
Tableau
管理ビュー for User Engagement
米セールスフォース、8月から一部クラウド製品値上げ | ロイター
平均９％の値上げだそうで、Tableauも対象内でした。
実際にはどう値上げ７日はわかりませんが、結構インパクトありますね・・・・
Looker
Lookerの埋め込みダッシュボードを社外提供する上での課題と解決策 - pixiv inside
Looker の埋め込みの事例って初めて見たかも
今週のデータガバナンス
DevelopersIO 2023でコードでデータ分析に関わる指標を管理できる「Semantic Layer」についてLookerとdbtの違いを話しました #devio2023
SnowflakeのDataSuperHeroのさがらさんの記事
これは実際に聞きたかった・・・・まじで
dbt-Tokyoにて、近いうちにセマンティックレイヤーの会があったはず
Semantic Layer、Metricflaw とこの分野も熱いですね
今週の開発ツールたち
dbt
vscode-dbt-power-userでdbtの開発やレビューを効率化する - yasuhisa's blog
dbtの開発するならこれやろ！って、恥ずかしながら私はこれを知らなかった・・・・
Pinecone
ベクトルデータベース Pinecone を試す｜npaka
Snowflake Summit 2023でも比較的大きな話題だったpinecone
これ、今後来ますよ、きっと、たぶん、うん、ほぼ確実に！！！
Openmetadata
Openmetadata 1.1.0 Release
- UIが今までで一番変わったとのこと
- リネージュがフィルタリングできるように
- SQL解析の改善（SQLFluffとかSQLLinageってのを使ってるらしい）
- コネクタが増えた
- DataBricks Unity Catalogとか
- PIIマスキング
OpenMetadataも触らにゃいかんのだがぁぁぁぁ
最後に
今週はここまで！
Discussion