（2026年1月30日号）データエンジニアリングユニオン通信 Season2 #15

がく＠ちゅらデータエンジニアです。

こんばんわ！
なんとかブログ更新頻度は保ててるかな・・・保ててるよね！
1月がもう終わった・・・・なんか時がすぎるの早すぎん？？？

データエンジニアリングユニオンとは（テンプレ）

隔週金曜日の12時〜13時で、データエンジニアリングのTOPICSを扱ったデータエンジニアリングユニオン Season2 を開催しています。
告知は、主にSnowVillage（SnowflakeのユーザコミュニティのSlack）にて告知しています。
※現時点ではYoutubeなどでの公開はしていません

今回は、運営陣が都合がつかなかったので、メインMCは私。
臨時にちゅらの同僚のローさんが合いの手いれてくれました、ありがとー

ちゅらデータ社内のデータエンジニアギルド内でやっている活動を社外にも広げた活動です。

弊社、真嘉比の金言
「キャッチアップは筋トレ！」

データエンジニアリングのキャッチアップ筋をみんなで、鍛えていきましょう！！

データエンジニアリングトピックス 2026年1月20日版

直近のイベント

• 2/5（木）～2/6（金）13:00-16:30 Snowflake Discover AI - Japan
• 2/17（金） #p_UG 東京：kintoneデータ活用LT大会｜Terraform・AI・リバースETL実践事例
• 9/15〜9/18 dbt summit@ラスベガス（名前が変わった）

https://www.snowflake.com/about/webinars/snowflake-discover-ai-japan/?utm_source=ps

は、昨年12月にあったBUILDのAI版で、オンラインイベントです。

このような感じなので、現在AIの活用がどんどん進んできている中、参考になるセッションは多いのではないかなと思います。
個人的には、AI-Readyというワードが流行っていますが、実際これがどういう形で実現していけばいいか？というのはとても興味があります。

と

プリンシパルセキュリティアーキテクトの柳瀬さんのセッションはぜひ聞きたいですね
「データと AI 戦略の基盤：Snowflake Horizon によるクロスプラットフォームガバナンスの実現」

今週絶対紹介したい！データ界隈の話題

• [2026年1月28日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
• 真のデータウェアハウスには意味の統合が必要 | Metafindコンサルティング
  • HE DATA WAREHOUSE BLUES - Bill Inmon
• AIエージェントのための段階的セマンティックレイヤの育て方 - Sansan Tech Blog
• 『そのデータ整備は投資に値するか？』データ人材が1年取り組んで感じた、RevOps実現のカンどころ / The ROI of Data Quality: A One-Year Journey Toward Building RevOps - Speaker Deck
  

所感

https://dev.classmethod.jp/articles/modern-data-stack-info-summary-20260128/

DataSuperHero2026にまた選出された神さがらさんの記事
継続して情報発信を続けられるさがらさん、足を向けて寝れませんね。

個人的に気になったのは、ClickHouse、OneHouseのお話。
OneHouseは、確か昨年か一昨年前のSnowflakeSummitで出展していて、面白そうなプロダクトだった・・・と聞いたのが印象的でした。

ClickHouseがLangfuseの買収を発表

AIエージェント開発でよくきいていたLangfuseを買収・・・・え？ClickHouseって・・・どちらかとデータ系とおもっていたのに、AIAgent系のプロダクトを買収してどうして・・ってこもったりしました。

https://metafind.jp/2026/01/29/a-true-data-warehouse-requires-integration-of-meaning/

データウェアハウスの父、ビル・インモン氏のLinkedInでの発言が物議を醸している・・とこと。
インモンさん、なかなか辛辣？なお言葉を。

• データの統合なしではデータ構造は瓦礫と化す
• コンサルタントやベンダーがデータ統合を無視すると、役立たないデータ構造の責任は構築されたデータウェアハウスに押し付けられる
  • →　インモンさん激おこ

SnowflakeやDatabricksに対しても厳しい言葉をかけていますが、もっとやってくれやぁぁぁとの期待の裏返しかもな〜とおもったり

Snowflake

What's New

• 10.2 Release Notes: Preview | Snowflake Documentation
  • New UUID data type
  • Support for Microsoft Fabric OneLake - GA
• 10.1 Release Notes (with behavior changes): Jan 19, 2026-Jan 23, 2026
  • 3つのBehavior change bundles
    • 2026_01 Bundle (Disabled by default)
      • Snowflakeサポートページ：アクセス要件の変更
        • このページにアクセスするには、サポート権限を持つロールが、プライマリロールまたは許可されたセカンダリロールとして、現在のセッションでアクティブになっている必要
    • 2025_07 Bundle (Enabled by default)
      • カタログリンクデータベース: すべての操作に対してデータベース所有者ロールに CATALOG INTEGRATION および EXTERNAL VOLUME の USAGE 権限が必要です
      • ウェアハウス: 新しく作成された Gen2 およびマルチクラスター ウェアハウスに対してデフォルトで QAS を有効にする。→ デフォルトでクエリアクセラレーションサービスがONになるので、コスト面で増えるので、注意が必要
    • 2025_06 Bundle (Generally enabled)
      • MFA関連で影響度Highが2個
  • Retrieve bind variable values (General availability)
    • バインド変数値の取得がGA
    • QUERY_HISTORYで、バインド変数が「？？？」になっていたところがどんな値が入るかが追跡できるように
• Jan 23, 2026: Organization users (General availability)
  • 複数アカウントを持つ組織で、同一人物を複数のアカウントでユーザーとして登録する必要がある場合、その人物に対して組織ユーザーを作成できるように
• Jan 23, 2026: Storage lifecycle policies: Expanded support | Snowflake Documentation
  • ストレージライフサイクルポリシーが Azure COOL ストレージレイヤにも設定可能に。また AWS・Azure 政府リージョンでも設定可能に
• Jan 23, 2026: Network policies for External OAuth | Snowflake Documentation
  • 外部OAuthセキュリティ統合にネットワークポリシーを紐づけられるように
• Jan 21, 2026: Snowflake OAuth for local applications | Snowflake Documentation
  • ローカルアプリケーション向けSnowflake OAuth、これがローカルアプリでの推奨認証方式です
  • 組み込みのセキュリティ統合 SNOWFLAKE$LOCAL_APPLICATION を使う
• Jan 23, 2026: Malicious IP Protection updates | Snowflake Documentation
  • 悪意のあるIPアドレスからの保護機能が更新されました
  • LOGIN_HISTORY ビューにブロックされたIPアドレスが記録されるように
  • 低リスクと判断できる場合はBAN解除できるように
• Jan 16, 2026: External lineage (Preview) | Snowflake Documentation
  • Snowflakeの外部リネージ、dbtとかAirflowとかからもリネージ情報が取得できる口が
• Runtime environments for Streamlit apps | Snowflake Documentation
  • WAREHOUSE版との比較としての利点としては、最新のパッケージなどを使えるところ
  • コスト面については、色々バックグラウンドで動き、コストメリットは現時点ではあまりなさそう。今後の改善を期待しますね。※このあたりはSnowflakeさんはやってくれると信じてる
• AI_SQL系が軒並みGA

直近2週間のリリースノートへの所管

大きめなのは

• Behavior change bundlesで、コストにはねそうな変更が気になってます。また、権限の追加をしなければならないものが出てきてるので、前と手順が変わってしまうってことが有り得そう
• 外部リネージ
  • dbtやAirflowから。リネージまとめたいよね。pipでライブラリを入れてそこにSnowflakeのOpenLinageAPIエンドポイントに投げ込む感じ。検証してみたいな
• 外部OAuth対応、ローカルアプリケーションにも
  • このあたりはAIAgentやMCPへの対応かなとも

記事・TIPS

• Snowflake Cortex AI Functions で Gemini3 がパブリックプレビューとなりました！
• Query Google Sheets Directly in Snowflake
• SnowflakeNight#1 Cortex Analystに正しい文脈を伝えるためのSemantic View構築・運用の実例
• 食品スーパーのDX推進に向け、内製化を前提にした新たな分析基盤をSnowflakeで構築。内製化の基盤実現に加えランニングコストを削減
• Snowflake Cortex AIのコストについて考えてみた
• dbt-snowflakeでWorkload Identity Federationを使えるようにする
  • いつまでたってもマージされないので腕力で解決してるLayerXのciviさん

直近2週間の記事・Tipsへの所感

https://zenn.dev/kayamamoto/articles/ashisuto202601

こちらのAIのコストについてのまとめはありがたいですね、このあたりをしっかりと押さえておかないと行けないと思います。
SnowflakeのAI関連のコストは、Warehouseと違って、コスト体系が別になり、少し複雑になっていて、気をつけないとですね。ここもうチョットシンプルにしてほしいですね。

https://medium.com/snowflake/query-google-sheets-directly-in-snowflake-e4a6735b9707
こちらは、Mediumの記事
お！スプシがSnowflakeから読めるようになった？？公式？？と思いましたが、実装でなんとかしたお話。BigQueryをスプシから読める／分析できるというのはとてもいい体験なので、Snowflakeさんもこちら使えるようにしてくれるといいんだけどねぇ〜
※もしかして、マーケットプレイスにあったりするんだろうか・・・・（調べてない

AWS

What's New

• Amazon RDS for PostgreSQL, MySQL and MariaDB now support r6id and r6gd database instances in additional AWS Regions
  • r6gd(Graviton2系)がOsakaで使えるようになります
• AWS Clean Rooms adds support for join and partition hints in SQL
• AWS Clean Rooms now supports parameters in PySpark analysis templates
• Amazon RDS Blue/Green Deployments reduces downtime to under five seconds
  • 通常5秒以下、さらにAWS Advanced JDBC Driverを使っているとダウンタイムは2秒以下に
  • Blue/Greenデプロイの詳細はこちら
• Amazon Bedrock Reserved Tier available now for Claude Opus 4.5 and Haiku 4.5
• AWS Databases are now available on v0 by Vercel
  • Aurora PostgreSQL / Aurora DSQL / Amazon DynamoDBがVercel v0で利用可能に

記事

• Amazon Redshift Serverless でキューベースのクエリリソースの管理を追加 - AWS
• これまでのネットワーク運用を変えるかもしれないアプデをおさらい - Speaker Deck
• [アップデート] EC2 Auto Scaling グループの削除保護機能が追加され、IAM 条件キーでの強制削除制限もできるようになりました | DevelopersIO
• 週刊AWS – 2026/1/19週 | Amazon Web Services ブログ
• Alation と SageMaker Catalog の連携
• Amazon Bedrock now supports server-side custom tools using the Responses API
• Announcing increased 1 MB payload size support in Amazon EventBridge

AWS/記事 の所感

https://speakerdeck.com/hatahata021/updates-that-will-change-network-operations

個人的にはこちらのまとめが、非常ーーーーーーーーに気になっております。

特にこれ
これ以外にも「ALB・NLBの機能拡張」辺りはチェック必要かなと思います。

https://dev.classmethod.jp/articles/ec2-auto-scaling-new-mechanisms-group-deletion-protection/

この保護機能もありがたい、積極的に設定しておきたいなとおもいました。

スケールイン中で 0 台になっており不要だと勘違いして Auto Scaling グループを削除してしまうとかたまに事故ることがあったのですが、

まさにこれ。これですよね

GoogleCloud

BigQuery

• Salesforce データを BigQuery に読み込む | Google Cloud Documentation
• BigQueryに自然言語でクエリする10個の方法 - G-gen Tech Blog
• Conversational analytics overview
  • Conversational Analytics 機能が Preview。生成 AI に自然言語で質問すると AI が自動でクエリを作成して質問に回答
• BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の名寄せ処理を効率化する
• BigQueryからLLMを直接呼び出して、憧れのダッシュボード自動要約を実現する。
  

ちょっきん2週間の所感

BigQueryの情報は、g-genの杉村さんのXへの投稿で主にキャッチアップしてます
ほんといつもありがとうございます、すごい助かってます🙇

https://docs.cloud.google.com/bigquery/docs/salesforce-transfer?hl=ja

これまで、SalesforceのデータをBigQueryに連携するには、FivetranやTROCCOといったツールを使ったりするのが主流だったのかな・・・とも思いますが、こちらが出来たのでそれが不要で、連携できるようになったのかなって思ってます。
※自分が、Salesforce→BigQueryはやったことがないので、誤った事を言っていたらごめんなさい

https://zenn.dev/ubie_dev/articles/eca00ce1ebe8a5

またこちらのUbieさんの記事は、さすがUbieさんという記事
病名に冠する表記ゆれってのは、医療ドメイン（動物の病名とかでも）ではほんとよくあることらしく、このあたりはほんとよい！と同僚が絶賛していました。

記事

• Memorystore for Memcached | Google Cloud Documentation
  • google cloudのmemcachedのマネージドサービスが2029年に終了とな。2027年2月から新規作成できなくなる
  • 移行先としては、Memorystore for Valkeyがおすすめされていますね
• gcloud MCP server
  • いつの間にか gcloud、observabilityのMCPが出ている。
  • まだ試してないけど、ログ,メトリクス,トレースをMCP経由で 取得できそう。

Azure/Microsoft

※私はAzureは殆ど使ってないので、このあたりは非常に弱い

• Weekly Azure アップデート情報 - 2026/1/15 ｜クラウドテクノロジーブログ｜ソフトバンク
• Release Notes for Azure Database for MySQL Flexible Server - January 2026
  • 次の定期メンテナンスで自動アップグレードされます
• Data Center Quantized Congestion Notification: Scaling congestion control for RoCE RDMA in Azure | Microsoft Community Hub
  • Azureのストレージサービス、RDMA導入しているんだ…
  • RDMA：あるサーバからNICを介して直接他のサーバのメモリやSSDを読み書きする技術
• Azure のサポート プランについての情報と Standard プランの対応内容について
• 公式イベント
  • Microsoft AI Tour Tokyo
    • 2026年3月24日
    • 東京ビッグサイト
  • Azure Cosmos DB Conf 2026 — Call for Proposals Is Now Open
    • カンファレンス： 2026年4月28日（無料、YouTubeでストリーミング配信）

Databricks

• 2026年1月のリリースノート
  • パイプラインの更新時にトリガーする（GA）
  • Lakeflow ジョブ システム テーブルが一般提供 (GA) されました
  • サーバーレスワークスペースが一般公開されました
  • Databricks アプリのコンピューティング サイジングが一般公開されました
  • マネージド MCP サーバーがパブリック プレビューになりました
  • MLflow トレースをUnity Catalogに保存およびクエリする(ベータ版)
  • Google ドライブ コネクタ（ベータ版）
  • パフォーマンス重視のサービス向けのフロントエンド PrivateLink (ベータ版)
  • Lakebaseが一般公開されました
  • サーバーレスジョブで、Python、Python Wheels、ノートブックタスク用のカスタムベース環境を使用できるようになりました。
  • Databricks Runtime 18.0 が GA になりました
  • エージェントブリックス：ナレッジアシスタントが一般公開されました
  • OpenAI GPT-5.1 Codex Max と Codex Mini が Databricks ホストモデルとして利用可能になりました
• Databricks Free Edition講座 データエンジニアリング編 - Speaker Deck
• Databricks Notebook 開発環境を AI-Ready にする
• Databricks MCP Server をアップデートしました
• AI/BI release notes 2026 | Databricks on AWS
  • Databricks OneがGAされた
• Databricks Data Sharing to Iceberg Clients with No Replication (Snowflake Demo)
  • こちらはDelta SharingでDatabricks上のIcebergテーブルをSnowflakeから読み出すデモ動画です！
• 2025年のレビュー: あらゆるワークロードに対応する、より高速なDatabricks SQL
• データブリックス、「政府情報システムのためのセキュリティ評価制度（ISMAP）」に登録 公的機関の安全なデータ活用とイノベーションの推進を支援 | Databricks

その他のデータベース

PostgreSQL

• PostgreSQLのテーブル肥大化を引き起こす4つの原因とその対処方法
  • 不要なレコード(デッドタプル)がVACUUMできない状況をパターン別に解説してくれています
• Scaling PostgreSQL to power 800 million ChatGPT users | OpenAI
  • https://x.com/Keisuke69/status/2015765541240406400?s=20
• PostgreSQLでINSERT偏重のテーブルのチューニング方針まとめ
• 開発者が知っておくべきPostgreSQLパフォーマンス改善Tips 入門10選
  • データエンジニア向けではなくWebアプリエンジニア向けの入門

Postgresについての所感

https://x.com/Keisuke69/status/2015765541240406400?s=20
OpenAIがManagedのPostgreSQLを使っていたというお話がすごく興味深かったです。そちらを開設いただいているこのツィートがすごいわかりやすかった。

DuckDB

• Announcing Vortex Support in DuckDB
  • TL;DR: Vortexは、非常に将来性のある設計を持つ新しい列指向ファイル形式です。SpiralDBとDuckDB Labsが提携し、Vortexファイルの読み書きを非常に高速に実現します。
  • 比較的新顔なデータファイルフォーマット Vortex をサポートするようです
  • VortexはParquetよりAI/GPUを意識して高速性・並列性を追及したファイルフォーマット。意欲的だ！
• Announcing DuckDB 1.4.4 LTS
  • 安定版がリリースされました。来月には1.5.0になる予定！

所感

https://duckdb.org/2026/01/23/duckdb-vortex-extension

Vortexという列指向データ用の拡張可能なオープンソースフォーマットがでてきましたね。
こちらは、列指向でIcebergなどでも使われているParquetの持つ設計上の問題を解決しようと開発されてきたものだそうな。
※2025年8月にSpiralDBよりLinux Foundationに寄贈

非常に意欲的
DuckDBはこういった新しい技術に対してもいちはやく対応しているし・・・・やっぱりやっておかないとだめだろうなぁ・・・という気がすごく強くなっています。

結論
Vortexは、Parquetのような既存の列指向フォーマットに代わる非常に興味深い選択肢です。軽量圧縮エンコーディング、遅延解凍、そして圧縮データに対する計算式の実行に重点を置いているため、幅広いユースケースで非常に興味深い選択肢となっています。DuckDBに関しては、Vortexは分析クエリにおいて既に非常に高いパフォーマンスを示しており、TPC-HベンチマーククエリではParquet v2と同等かそれ以上の性能を示しています。

なかなか興味深いなぁー

その他

• [MySQL]名前のLIKE検索が重すぎる件を調査した
  • %だとインデックス効かないから重くなりがちだよね…
  • FULLTEXTも、MySQLに限らず癖強になりがちなイメージ。ちゃんと検証してから設計したい
• なぜDBはインデックスを使わないのか - ランダムI/Oとシーケンシャルスキャンの基礎

  • プランナーを信頼する - 「インデックスが使われない」には理由がある

• Oracle、Linux版の「Oracle AI Database 26ai」正式リリース 前バージョンからそのまま移行可能 - ITmedia NEWS

Supabase

• AIエージェントがPostgreSQL対応の優れたコードを書けるようになるAgent Skill「Postgres Best Practices」、Supabaseが公開 － Publickey
• Supabase PrivateLink is now available
• Introducing iceberg-js: A JavaScript Client for Apache Iceberg

データモデリングツール

dbt

• dbt-snowflakeでWorkload Identity Federationを使えるようにする
• dbt semantic / MetricFlow をローカルで動かしてセマンティックレイヤーを体験してみた話
• dbt Core と dbt platform を併用する開発環境構築を試してみた | DevelopersIO
• https://github.com/dbt-checkpoint/dbt-checkpoint/issues/313
  • dbt−checkpoint とは
    • dbt-checkpoint は、dbtプロジェクトの品質を確保するための事前コミットフックを提供
• Migrate to the latest YAML spec | dbt Developer Hub
  • dbt Semantic Layerの定義方法が1月のアップデートで大幅に仕様変更
• Modernizing the Semantic Layer Spec | dbt Developer Blog
  • measureがなくなって、metricsに統合された
• [レポート] Icebergとクロスプラットフォームなデータメッシュ #dbtCoalesceTokyo | DevelopersIO

その他ツール

• Open Semantic Interchange (OSI) Specification Finalized

  • LightdashやDatabricksもJOIN！
  • セマンティックレイヤーについては、ここでうまくデファクトになっていってほしいなー

• OpenMetadata

  • Introducing Data Quality as Code: Validate Data Before It Lands, Not After
    • https://x.com/open_metadata/status/2016919605495701933

• GitHub Copilot CLIのエージェント機能をコードから自在に呼び出してAIエージェントアプリが作れる「GitHub Copilot SDK」テクニカルプレビュー公開 － Publickey

• Releases · sqlfluff/sqlfluff

  • sqlfluff の4.0.0からopt-in形式だけどRust版使えるようになってる。ただ、まだbetaって感じで5.0.0からdefaultがRust版になるみたい

• Gitの次に来る？次世代VCS "Jujutsu" - Qiita

  • Git互換のバージョン管理システム。2022年頃に初期リリース
  • rebaseあたりの複雑さが思想レベルで解消されている

BI

• データソース間でコントロールを使用する | Looker Studio | Google Cloud Documentation
  • Looker Studioでもついに、クロスデータソース・フィルタリング機能がローンチ
  • Tableauみたいに複数のデータソースをLooker上でくみあわせれられようになるのかな
  • これまでは、複数のデータソースは極力追加しないように気をつけていたらしい
• Lightdash AI Agents で始めるデータ整備
• PowerBI：MCPサーバーによるFabric開発の効率化 | ドクセル
• Squadbase
  • Squadbase、AIとPythonで「BIダッシュボード開発」をコード化するハンドブックを公開 | 株式会社Queueのプレスリリース
  • https://www.squadbase.dev/ja/changelog
    • Squadbaseのエディターが大幅にアップデートされました
    • 複雑な要素を整理し、より直感的な体験を実現します
• Omni
  • https://dev.classmethod.jp/articles/webinner_20260127_omni/
• その他
  • 【2026年最新】GA4データをAIで分析する4つの方法
    • AIエージェント(Squadbase)
    • ChatGPT/Geminiにファイルアップロード
    • Looker Studio × Gemini連携
    • BigQuery × Gemini連携