❄️

Snowflake 自律化サービスがもたらすデータエンジニアの新時代

に公開

はじめに

私は、CCCMKホールディングス株式会社でエンジアリング全般の責任者をしていますTaroと申します。
当社は、日本最大級の共通ポイントサービス「Vポイント」を運営しており、Snowflakeを中心としたデータ活用基盤を構築運用しています。

最近、テクノロジーロードマップを見直しており、今年に入ってからのSnowflakeのいくつかの機能リリースを元にデータ基盤の未来についての考察を兼ねて、この記事を書きました。

という訳で、本記事は技術的な予測というより、一人のベテランデータエンジニアが『こうあってほしい』と考える未来像です。

時間軸や具体的な機能は外れる可能性が高いですが、『自律化の方向性』についてはおそらくそんなに外していないのではないかと思いますので、気軽に読んでいただければ幸いです!


2025年8月、SnowflakeはSnowflake Optimaを一般提供(GA)しました。その際にはあまり大きく触れられることはなかったのですが、10月2日にSnowflake Optimaについての公式ブログ発表がありました。

Snowflake Optima
公式ブログ

この機能は単なる新機能リリースではなく、多くの示唆に富んでいるように感じました。なぜなら、Optimaは「パフォーマンスチューニングの一部自律化」という枠を超え、「データ基盤運用そのものを自律化する」 というSnowflakeの長期ビジョンの第一歩だと考えられるからです。

またこのブログでは、Warehouse Gen2のスマートDML機能にも言及されており、Snowflakeがパフォーマンス向上を継続的に追求していることが伺えます。

Warehouse Gen2

本記事では、Snowflake OptimaとAdaptive Warehouseという2つの自律化機能を起点に、以下を考察したいと考えています。

  • 現在地:これらの機能が何を実現しているのか
  • 構造分析:なぜ今、この進化が起きているのか
  • 予測シナリオ:今後数年でデータエンジニアリングはどう変わるか
  • 戦略的示唆:エンジニアは何を準備すべきか

重要な前提:本記事は確定した未来を語るものではありません。公式情報と技術トレンドから導いた私の「一つの考察」です。読者の皆さんと議論し、共に未来を考えるきっかけになれば幸いです。

さて、本題に入る前に、タイトルにも付けた「自律化」の定義を行いたいと思います。

自動化(Automation)

  • 定義:人間が定義したルールに従って、機械的にタスクを実行すること
  • 特徴:事前設定が必要、学習しない、固定的
    例:スケジュール実行、ルールベースの処理

自律化(Autonomy)

  • 定義:AIがワークロードを学習・分析し、自ら判断して最適化すること
  • 特徴:事前設定不要、学習・適応する、動的
  • 例:Optima、Adaptive Warehouse、Query Insights

関係性:

  • 自律化は、AI駆動の高度な自動化
  • 自動化<自律化(自律化は自動化を含む上位概念)

では、まず現在地を把握していきたいと思います。

第1部:SnowflakeのプラットフォームAI活用の加速

25年6月のSnowflake Summit以降、Snowflakeのプラットフォーム機能自体にAIを搭載した機能が増えてきました。
その中でSnowflake Optimaについてまず取り上げたいと思います。

Snowflake Optimaとは何か

Snowflake Optimaは、クエリ最適化の一部を自律的に行う新機能です。2025年8月にプレビュー、10月に一般提供されました。

主な特徴

  1. Optima Indexing
    頻繁に実行されるポイントルックアップクエリを検出し、バックグラウンドで隠しインデックスを自動生成・維持します。

  2. 動的ワークロード配分
    クエリ実行時に負荷状況をリアルタイム解析し、必要に応じて並列度とリソースを自動調整。

  3. 自動プラン最適化
    結合順序や統計情報(NDV推定)の精度向上など、クエリコンパイル段階で最適化を強化。

重要なポイント:追加コスト不要

Gen2ウェアハウス利用時、Optimaは無償で自動的に有効化されます。つまり、既存のSnowflakeユーザーは何もせずに恩恵を受けられます。

公式ドキュメント

Search Optimization Serviceとの関係性:誤解を解く

「Optimaは単なるSearch Optimization Service(SOS)の自動化では?」という疑問を持つ方もいると思います。実際、私も最初はそう感じました。

しかし、公式ドキュメントを詳細に分析すると、重要な違いがあることが分かります。

アーキテクチャ上の位置づけ

公式ドキュメントには「Optima Indexing is built on top of the Search Optimization Service」と記述されています。

これは「置き換え」ではなく「拡張」を意味します。

比較項目 Search Optimization Service Snowflake Optima
有効化 手動設定が必須(ALTER TABLE ADD SEARCH OPTIMIZATION Gen2で無条件有効化
コスト ストレージ・コンピュート費用が発生 追加コストなし
保証レベル 確実なインデックス維持 ベストエフォート
適用範囲 テーブル全体またはカラム単位 反復クエリパターンに限定
最適化判断 ユーザーが事前に決定 システムがワークロード分析で自律的に判断

使い分けのガイドライン

公式ドキュメントは明確に使い分けを推奨しています。

  • Optimaを使うべき場合:一般的なワークロードで、設定不要かつコスト無料で自動最適化の恩恵を受けたい
  • SOSを使うべき場合:ミッションクリティカルなワークロードで、インデックスの最新性とパフォーマンスの一貫性が絶対に必要(例:リアルタイム脅威検知)

つまり、一般的なワークロードの多くをOptimaサービスが自律的にカバーする機能であり、
残りのミッションクリティカルケースにはSOSによる厳密な運用を行うという使い分けを実現するものです。

Snowflake Optimaの想定ロードマップ

Optimaの領域は、現時点ではSOSのマネージドサービス的な位置づけに留まるように見えます。
ですが、今後おそらくOptimaを含む、より包括的なサービスとして、クラスタリングキーそのものや頻出するクエリパターンに対する、例えばマテリアライズドビューの内部自動生成も可能とする機能を提供していくのではないかと考えられます。
これらが追加コストなしに、もしくは最小のコスト(クラスタリングキーやMV作成コストなど)で使えるとすれば、「チューニングなしのパフォーマンス」を実現できることにつながります。
すなわち、エキスパートデータエンジニアが担ってきた、パフォーマンスチューニング作業を大幅に削減できると期待されます。

Query Insights のリリース

もう一つの重要機能として、Snowsightにおける、Query Insightsの一般提供が10月7日に発表されました。これは検出されたクエリにおいて、パフォーマンスに影響を与える箇所とその影響内容、およびその改善の提案をエンジニアに提供してくれます。

Query Insights

この機能はある意味、エキスパートデータエンジニアが属人的なスキルで担ってきた、パフォーマンスボトルネック調査とその対策を大幅に平準化することが期待できます。
またエキスパートエンジニアも人数が限られるため、重要なワークロード以外に対しても効率良く調査と対策を行える点は非常に魅力的だと考えられます。

先日、ちょうどこのような記事を書いたところでした。
https://zenn.dev/dataheroes/articles/bd4b285c0ab751

Adaptive Warehouse の提供(将来)

そして、もう一つの重要機能として、Snowflake Optimaより前に発表されたAdaptive Warehouse(Adaptive Compute) が存在します。

Adaptive Warehouseの役割

2025年6月にプライベートプレビューが一部先行企業で開始されたこの機能は、ウェアハウス全体のワークロード最適化を自動化します。(弊社は申込が漏れており、パブリックプレビューを待ち望んでいます。)

  • ウェアハウスサイズの自動調整
  • 並列度の動的変更
  • クラスター数の自動スケーリング
  • クエリルーティングの最適化

従来は、これらを人間が設定し、定期的に見直す必要がありました。Adaptive Warehouseは、それらのワークロードパターンを学習して、自律的に調整します。

三つの機能が描く自律化マップ

これらの機能の進化とAdaptive Warehouseを組み合わせることで、クエリ実行の全レイヤーで自律最適化が実現すると考えられます。

レイヤー 従来の手動最適化 自律化機能
データアクセス クラスタリングキー設計、SOS設定、マテリアライズドビュー Snowflake Optima
現状はSOSの一部
リソース配分 ウェアハウスサイズ・クラスター数調整、QAS設定 Adaptive Warehouse
ワークロード分析 クエリパフォーマンス、コスト管理、リソースモニター Query Insights

Query Insightsは、これらの機能の「透明性レイヤー」として機能します。Optimaがどう最適化したか、Adaptive Warehouseがどうリソースを調整したかを人間が理解できる形で提示することで、AIと人間の協働を促進します。

これらが標準機能として提供され、最小限のコストで利用できるようになれば、エキスパートデータエンジニアが担ってきたパフォーマンスチューニング作業は劇的に削減されることになります。

Snowflakeが掲げる"Simplicity"の思想

これらの自律化機能は、偶然の産物ではありません。Snowflake Summit 2025で、スリダールCEOが強調した "Simplicity" という思想の具現化だと考えています。

「複雑さこそが問題の根源」

スリダールCEOはキーノートで次のように述べました。

"Complexity creates risk. Complexity creates cost. Complexity creates friction. Simplicity drives results, and that is why Snowflake holds simplicity at the heart of our design."

この思想は、以下の課題認識に基づいています。

  1. 複雑なシステムは障害が起きやすい
  2. 問題の原因究明に時間がかかる
  3. 結果として顧客の信頼を失う

そして最悪なのは、信頼回復のためにさらに複雑な仕組みを追加してしまうという負のスパイラルです。

Snowflakeの解決策:抽象化による複雑性の隠蔽

Snowflakeの戦略は「複雑性を排除する」のではなく、「複雑性をプラットフォーム側で吸収し、ユーザーには見せない」 ことです。

  • Optimaは「インデックス設計」という複雑性を隠蔽(いずれクラスタリングキーすら)
  • Adaptive Warehouseは「リソース管理」という複雑性を隠蔽
  • Query Insights 「クエリ評価」という複雑なプロセスのサポートと透明性を実現
  • これらの組み合わせで「パフォーマンスチューニング」という専門技術を抽象化・簡素化

あるベテランエンジニアの悩み

私は、ここ数年で役職が上がり、データ基盤はメンバーに任せ、他の多くのシステムの開発責任者になっており、データ基盤に関わる時間が大幅に減りました。

そして、Snowflakeの全社での利用が進む中で、私は一つの悩みを抱えていました。

メンバーには、データマネジメントやビジネス貢献に時間を使ってほしい。しかし、一方でコストコントロールを行うためにはパフォーマンスチューニングが重要。
しかしパフォーマンスチューニングのスキルは簡単には身につきません。勉強会などで「クラスタリングキーの選定方法」を教えても、実践経験なしには本当の理解に至りません。

『このノウハウを、どう継承すべきか』一人、悩むことが多くなりました。

これに対するSnowflakeは、極めてシンプルな解決策を提示してくれました。

俺たちに任せればいい

これに対し、最初は懐疑的でしたが、ここ最近のいくつかの機能リリースを見ていると現実感のある解決策になってきたと感じ始めました。

なので、私はこう質問したいと思います。

どこまで任せられる?

第2部:自律化の構造的分析 〜この進化の先は〜

"チューニングなしの性能"から"運用なしのエンジニアリング"へ

Snowflakeの自律化戦略は、段階的に進化していると考えられます。私はこれを3つのフェーズとして捉えるのが良いと考えています。

フェーズ1:パフォーマンス最適化の自律化(-2026年)

目標:"チューニングなしの性能"

  • マイクロパーティション自動管理
  • Query Acceleration Service(QAS)
  • Search Optimization Service(SOS)
  • Gen2 Warehouse(2025年5月 GA)
  • Snowflake Optima(2025年8月 GA)
  • Query Insights(2025年10月 GA)
  • Adaptive Warehouse(2025年6月 プライベートプレビュー)

ここでは、クエリパフォーマンスを自動的に改善するための基本機能の提供を開始したと考えられます。

  • Gen2 Warehouseによる、基本性能の向上
  • Snowflake Optimaによる、自律最適化サービスの提供
  • Query Insightsによる、クエリ最適化の透明性機能の提供
  • Adaptive Warehouseによる、クエリへの最適リソースの提供

特に自律化が進めば進むほど、そのコストが最適かどうかを評価できる機能が重要となります。
そしてすでに監視やアラート、予算制御などのFinOps機能も段階的にリリースされていますし、Snowflake自身も意欲的に見えます。

FinOps Foundationへの加盟

いずれも私の憶測ではありますが、皆さんにも現実感のある未来像ではないでしょうか?

フェーズ2:運用管理の自律化(2026年-2027年予測)

クエリパフォーマンスのような低レイヤーの業務が自律的に最適化されると、次は何を任せたいと考えるでしょうか?

私が予測する(期待する)自律化領域は、データマネジメント領域になると考えています。
もちろん、これは公式発表されていない予測です。しかし、Cortex AIが既にデータプロファイリング機能を持ち、Universal Searchでメタデータ統合が進んでいることを考えると、技術的基盤は既に整いつつあります。

Snowflakeの過去のリリースサイクルを見ると、プレビューからGA までは概ね6-12ヶ月。2026年にプレビュー、2027年に全てではないにせよ、一部のGAが始まるという想定は現実的ではないかと思います。

2026年中:部分的な機能のプレビュー(メタデータ自動収集など)
2027年中:段階的なGA開始(まずは簡単な機能から)
2028年中:フェーズ2の主要機能がGA

目標:"運用なしのエンジニアリング"

  • データパイプライン自律運用
    AI駆動のエラー診断と自動修復、動的スケジューリング最適化

  • データ品質管理の自律化
    異常検知ルールの自動生成、自律的なオブザーバビリティ機能、テーブルライフサイクルの自動管理

  • メタデータ管理の自律化
    データプロファイリングとメタデータの自動化、OSI(Open Semantic Interface)によるセマンティックエコシステム

  • 非構造化データに対する取組み
    社内のさまざまなドキュメントや画像・音声・動画などの自動ベクトル化など

  • データモデリング支援の高度化
    クエリパターンベースのマテリアライズドビュー自動生成、自動クラスタリングキー作成

また、2025年に発表されたSnowflake Openflow(データ移動・取り込みサービス)の進化も、この自律化を後押しすると考えられます。

Snowflake Openflow

このフェーズでは、「データ基盤を運用する」ための作業を自律化します。
ここまで自律化が進むと、「データエンジニアは何をする職種になるのか」という新たな問いが生まれるかもしれません。

それに対して、私は自分の仕事を再定義すると思います。

そうだ!私はデータを使って、もっとビジネスに貢献をしたい

フェーズ3:データ戦略の自律化(2027-2028年 段階的にGAと予測)

目標:データによる価値創造の民主化

このフェーズでは、データエンジニアは、よりデータ戦略に注力し、またすべてのビジネスユーザーがデータで価値を創造できる世界を目指します。

他のプラットフォームへの適用可能性

本記事はSnowflakeを例に考察していますが、ここで述べた「自動化・自律化」のトレンドは、データプラットフォーム全体の方向性だと考えています。

上記は、ほんの一例ですが、このような自律型の最適化の取組みは、AIを活用する中で各プラットフォーマーが今後競ってリリースしてくると思います。

ベンダーロックイン観点では、Snowflakeに傾倒しすぎるというリスクもあり、他のプラットフォーマーの動きも十分に見ていく必要があります。

そういう意味では弊社も規模の大小はありますが、Databricks、BigQueryも採用しており、マルチプラットフォーム化している状況となっています。

とはいえ、Snowflakeはコミュニティが活発で、様々な有益な情報や示唆に富んだ考察を得られるので、ついつい頼りがちです。

では、具体的な話は次の章でお話したいと思います。


第3部:予測シナリオ~フェーズ3の世界~

ここからは、フェーズ3(2027-2028年頃)での実現が予測した(期待したい)具体的な3つの機能を紹介したいと思います。

予測1:自然言語によるデータ基盤設計

実現する変化
ビジネスユーザーが自然言語で要件を伝えると、AIがデータアーキテクチャを自動提案する世界。

具体的には
「顧客の購買履歴を週1回月曜の朝に分析してレポートにしたい」という要望に対する対応が数十分で完了する世界になると思います。

  • 必要なデータソースの特定
  • パイプライン設計の提案
  • 最適なデータモデルの推薦
  • コストとパフォーマンスの試算

データエンジニアの役割の変化

従来は「要件を聞いて、数日〜数週間かけて設計・実装」でした。
未来では「AIの提案をレビューし、ビジネスロジックの妥当性を検証する」という監督・承認の役割にシフトします。

実現可能性の根拠

Cortex Analystは既に自然言語からSQLを生成でき、Snowflake CopilotによるDDL/DMLサポートも実現済です。これらを統合すれば、技術的には実現可能と考えられます。

とはいえ、すべてのコンテキストをSnowflakeに入れることは難しい部分もあるため、完全な自律化には至らず、データエンジニアの判断が必要な領域は残り続けると思われます。

予測2:自律進化するデータモデル

実現する変化
データ基盤が、ワークロードの変化を学習し、自らデータモデルを進化させる世界。

具体的には
従来は人間が定期的に「このクエリパターンが増えてきたから、マテリアライズドビューを作ろう」と判断していました。

未来では、AIがクエリパターンの変化を検知し、対応を自動化してくれると思います。

  • 最適化の提案(MVの自動生成など)
  • コスト削減効果の試算
  • 実装後の効果検証
  • 効果が薄い場合の自動ロールバック

革新的な意味
これは「静的なデータモデル」から「ビジネスの変化に追従して進化し続ける動的アーキテクチャ」への転換を意味します。

データエンジニアは、「日々の最適化作業」から解放され、「中長期のデータ戦略」に集中できるようになっていくのではないかと考えられます。

予測3:セマンティックレイヤーの自動構築

実現する変化
組織内の「ビジネス用語」と「データ」が自動的にマッピングされ、誰もがデータを自然に扱える世界。

具体的には
「去年の第4四半期の売上トップ10商品は?」という質問に対して、

  • 「売上」「四半期」「商品」という用語を自動解釈
  • 組織固有の定義(会計年度など)を自動適用
  • 一貫した回答を生成

実現可能性の根拠
ここまでは26年度中にはできるようになると思います。
さらに、この定義は、Tableau、Power BI、Lookerなど全てのツールで統一され、「ツールによって数字が違う」という問題から解放されることが既に現実的になりつつあります。

Open Semantic Interface(OSI)が2025年に標準化され、Snowflake Horizon Catalogでメタデータ管理が既に提供されています。これらの統合により、2026-2027年頃には実現し始めると期待しています。

Open Semantic Interface(OSI)

組織への影響
データエンジニアは「用語の通訳者」から解放され、より戦略的な価値創造に時間を使えるようになります。

また、さらにデータ基盤に連携される前の上流のデータモデリングが重要になってくるように思います。
すなわち、データエンジニアの領域は、データ基盤ではなく、その組織、企業、ビジネスにおけるデータアーキテクチャやデータモデリング全般を司る存在になっていくと考えられます。

それはすなわち、事業におけるデータエンジニアの重要性がさらに増すことになります。

このフェーズで実現する世界

データエンジニアの新しい役割

従来:「データを整備する人」
2027年:「データ戦略を描く人」

具体的には:

  • ビジネスビジョンをAIに伝える「トランスレーター」
  • AIの判断を評価・承認する「ストラテジスト」
  • データで新しいビジネス価値を創造する「イノベーター」

以下は、自律化が理想的に進んだ場合の一例です。
実際には、組織の成熟度や技術的制約により、この状態に到達するまでにはさらに時間がかかる可能性があります。

ですが、あと数年あれば、このような世界観を実現する企業が誕生し始めると思います。

データエンジニアの1週間(2027-2028年のイメージ)

運用作業(約20%)

  • AIの自律最適化提案のレビューと承認
  • 例外ケースへの対応

戦略業務(約80%)

  • ビジネス部門との対話と新規要件の整理
  • 新技術の検証とビジネス適用可能性評価
  • データガバナンス体制の構築と運用
  • 経営層へのデータ戦略提案

パーセンテージは理想的なイメージを表したもので、特に根拠がある訳ではないですが、従来の「運用中心、戦略少々」の業務ウェイトが逆転していくと思います。

この運用から戦略へのシフトは、データエンジニアがコストセンターではなく、プロフィットセンターへのシフトを行うことを指し示しています。

データは21世紀の石油という言葉がありますが、原油のままではビジネスはドライブしません。
それらは精錬され、加工され、プロダクトになることで、初めて価値を生みます。

このプロダクトを生む工程を管理するヒトと見れば、コストセンターです。
一方で、プロダクト自体を企画し、それを実際に生み出すプロセスをマネジメントするヒトと見れば、それはプロフィットセンターと言えるかもしれません。

データエンジニアの価値の変化

従来:「技術力」で評価される
2027年:「ビジネスインパクト」で評価される

  • 「何件のパイプラインを作ったか」→「どれだけ売上に貢献したか」
  • 「障害をゼロにしたか」→「新しいビジネスを創出したか」
  • 「コストを削減したか」→「データで競争優位を築いたか」

Snowflakeが最終的に問いかけること

君はデータで世界を変えるか?それとも、ただ管理するだけか?

そして私たちは、こう答えると思います。

データでビジネスを、世界を変えたい!

長期戦略(2028年以降):データストラテジストへの進化

ビジョン:「データの番人」から「ビジネスの創造者」へ

2028年、データエンジニアという職種は、根本から変わります。

従来の役割

  • データ基盤の構築・運用
  • パフォーマンス最適化
  • 障害対応

2028年以降の役割

  • ビジネス戦略へのデータ活用提案
  • AIエージェントとの協働による価値創造
  • データを使った新規事業の企画・推進

この変化は、データエンジニアの地位向上を意味します。


新しいキャリアの可能性

私自身は、営業時代にBIユーザーとなり、情報システム部門に異動してからは、BI管理者、システム運用、基幹システム、インフラ基盤、データ基盤など様々なキャリアを経験し、現在はエンジニア組織の責任者であり、本部長という役職で経営に近い立場で仕事をしています。

かつて私は、『データエンジニアは裏方の仕事』だと思っていました。しかし、本部長として経営会議に参加するようになり、データを見て経営戦略や対策を議論する経営陣、本部長陣の姿や新しいデータを生むための様々なアプローチやプロダクト戦略を見て、「データエンジニアは経営と伴走する存在」であるべきと認識が変わりました。

これは幅広い職種や役職を経験したからこそ思う世界ではあるかもしれません。

そのような中で、データエンジニアについて、3つのキャリアパターンを考察してみました。

パターンA:データビジョナリー

役割:データを活用した未来のビジネスをデザインする

主な仕事内容

  • 経営層との対話によるデータ戦略立案
  • データを活用した新規事業の企画
  • 競合優位性につながるデータ資産の発見と活用

求められるスキル

  • ビジネス戦略の理解
  • データから価値を見出す洞察力
  • 経営層・ビジネス部門とのコミュニケーション力

パターンB:AIオーケストレーター

役割:複数のAIエージェントを統括し、データ基盤全体を最適化

主な仕事内容

  • Snowflake Optima、Adaptive Warehouse、CortexなどのAIエージェント群の判断を監督
  • 異常ケース、例外ケースへの対応
  • AIの判断ロジックの改善提案

求められるスキル

  • AI/機械学習の基礎理解
  • データアーキテクチャの深い知識
  • 異常検知・分析能力
  • システム全体の統合的理解

パターンC:データプロダクトマネージャー

役割:データを「プロダクト」として捉え、社内外に提供

主な仕事内容

  • データプロダクトの企画・開発・運用
  • Data as a Serviceの推進
  • データマーケットプレイスの運営

求められるスキル

  • プロダクトマネジメント
  • ユーザー体験設計
  • ビジネスモデル構築
  • マーケティング・セールススキル

推奨されるチーム構成(2028年)

データ戦略チーム(10名の場合)

データビジョナリー:2名
└─ ビジネス戦略立案、新規事業企画

AIオーケストレーター:3名
└─ データ基盤全体の統括、例外対応

データプロダクトマネージャー:2名
└─ 社内外向けデータプロダクトの運営

データアナリスト:2名
└─ ビジネス分析、ダッシュボード構築

プラットフォームアーキテクト:1名
└─ 技術的な深い知識、新技術検証

(従来のインフラ運用・パフォーマンスチューニング専任者:0名)

評価制度の刷新
おそらく評価指標もコストセンターとしての評価ではなく、ビジネスインパクト観点にシフトすると思います。

評価項目 従来の重み 2028年の重み
障害ゼロ達成 30% 5%(AIが担当)
コスト最適化 25% 10%(AIが担当)
ビジネスへの貢献 20% 40%(最重要)
新技術の導入 15% 25%
チーム育成・組織貢献 10% 20%

採用要件の変化

【2025年の求人票】
必須スキル:

  • SQL、Python実務経験3年以上
  • クラウドDWH(Snowflake/Databricks/BigQuery等)の構築経験
  • パフォーマンスチューニング経験

【2028年の求人票】
必須スキル:

  • ビジネス課題をデータで解決した実績
  • AI/LLMとの協働経験
  • ステークホルダーとのコミュニケーション能力

歓迎スキル:

  • データ基盤の技術的知識(詳細な運用経験は不要)
  • 新規事業企画・プロダクトマネジメント経験
  • ビジネス戦略立案経験

自分で書きながら思いますが、ビジネスサイドの採用条件とほぼ同質化していくと思います。

スキル転換のロードマップ(具体的アクション)

今すぐ始める(2025-2026年)

  1. ビジネス言語を学ぶ

    • 週1回、ビジネス部門の会議にオブザーバー参加
    • 「なぜこのデータが必要か」を常に質問する習慣
    • 財務諸表の読み方を学ぶ(1冊の本を読む)
  2. AIツールに慣れる

    • Snowflake Cortex AIの全機能を試用(週末の個人プロジェクトとして)
    • ChatGPTやClaude等のLLMを日常業務で活用
    • 「AIに何を任せ、何を自分で判断するか」の感覚を養う
  3. 小さな提案から始める

    • 月1回、データを使ったビジネス改善提案を上司にプレゼン
    • 「こういうデータがあれば、売上が上がるのでは」という仮説を立てる

中期的に取り組む(2026-2027年)

  1. 越境学習

    • 他部門(営業、マーケティング、商品企画)で1週間インターン
    • ビジネスサイドの課題を肌で感じる
    • データエンジニアの視点で「ここを改善できる」を発見
  2. 外部インプット

    • ビジネス系カンファレンス参加(技術カンファレンスだけでなく)
    • 「データで成功した企業事例」を月1本以上読む
    • 異業種交流会に参加、視野を広げる
  3. 提案→実装→効果測定のサイクルを回す

    • 小規模でいいので「自分の提案でビジネス指標が改善した」実績を作る
    • 定量的な成果を記録:「施策Xにより売上Y%向上」

Snowflake Data Superheroesである、ぺいさんのRevOpsの取組みは、そのようなビジネスプロセスへの理解やチャレンジとして、非常に多くの学びがあります。
https://speakerdeck.com/pei0804/revops-practice-learned

長期的に目指す(2028年以降)

  1. 経営層との対話経験

    • データ戦略の提案書を作成、経営会議で発表
    • CDO(Chief Data Officer)との定期1on1を設定
    • 「データで会社の未来を変える」視座を持つ
  2. 自分の専門性を確立

    • 「○○業界のデータ戦略なら、この人」というポジション
    • 社外発信:カンファレンス登壇、記事執筆
    • コミュニティでのソート・リーダーシップ確立
  3. 次世代の育成

    • 自分が学んだことを後輩に伝える
    • 「データストラテジスト」という新しい職種の確立に貢献
    • 業界全体のレベル向上に寄与

最も重要なマインドセット

問い:自律化・自動化で仕事が奪われる?

答え:いいえ、仕事が「格上げ」されるのです。

従来:「このクエリが遅いから最適化して」→ 数日かかる作業
2026年:AIが自律最適化 → その時間で新規ビジネス企画

従来:「パイプラインが壊れた」→ 半日かけて調査・修正
2027年:AIが自動修復 → その時間でデータ戦略立案

従来:障害対応に追われて、戦略を考える余裕がない
2028年:AIに任せて、経営層と未来を議論できる

重要な誤解の解消
「自律化・自動化でデータエンジニアが不要になる」という主張は誤りです。
自律化は「職種の消滅」ではなく「職種の進化」をもたらします。

データエンジニアは消えません。より戦略的で、より価値の高い仕事にシフトしていきます。

データエンジニアの価値

従来:「技術力」× 「実装スピード」
2028年:「ビジネス理解」× 「AIとの協働力」× 「創造性」

自律化は脅威ではなく、あなたをルーティンワークから解放し、本当にやりたいことに集中させてくれる味方になっていきます。

自律化の限界と人間の役割
ただし、自律化には限界があります。

AIが現時点では判断できない領域

  • ビジネスコンテキストの深い理解
  • データ品質の判断
  • ステークホルダー間の利害調整
  • 倫理的・法的な判断
  • セキュリティリスク
  • 創造的な問題解決

これらは、2028年以降も人間の領域として残り続けるでしょう。データエンジニアの価値は消えるのではなく、データに関する多方面の領域へ、より高度で創造的な領域にシフトするのです。

Snowflakeが、Snowflake World Tour Tokyoでの基調講演で伝えた、3つのメッセージワードを曲解するなら、
Snowflakeを、「信頼(Trusted)」 し、「複雑な問題から解放(Easy)」 され、「領域を超えてつながれ(Connected)」、そして世界を変えろ!ということでしょうか。


おわりに

私は長年、データエンジニアとして働いてきました。そして、ずっとこう思っていました。

「パフォーマンスチューニングも大事。障害対応も大事。データマネジメントも大事。でも、本当にやりたいのは、データでビジネスを、世の中を変えることのはず。」

Snowflakeが「Simplicity」を掲げ、あらゆる複雑性を隠蔽しようとしているのは、私たちに 「本当に大事なことに集中してほしい」 というメッセージだと感じています。

私は非常に楽観主義で、変化を好むタイプです。良くも悪くも空想主義で突拍子もないことを思いつき、周りを混乱させることも度々です。

そんな私が書いた、これらの時間軸は、あくまで一つの推測です。実際のリリース時期は、技術的課題や市場状況により前後する可能性がありますが、重要なのは『いつ』ではなく『方向性』です。

特にAIの進化は著しく、我々自身の生産性向上を感じる以上に、メガプラットフォーマーの開発生産性はさらに押し上げていると思います。

それはすなわち、予測可能な未来は実現できる世界であり、それは予測以上の速度でやってくるだと考えています。

この記事で描いた未来

Snowflakeの出す機能は、彼らが描くデータエンジニアの将来像からの逆算された機能を提供していると考えています。
特に今年はその傾向が強まっています。

つまり、それはデータエンジニアリングの新時代の幕開けです。

フェーズ1(〜2026年)
パフォーマンスチューニングの自律化→ 技術的な最適化作業からの解放

フェーズ2(2026-2027年)
運用管理の自律化→ データマネジメント業務の最小化

フェーズ3(2027-2028年)
データ戦略の自律化→ ビジネス要件から自動でデータ基盤が構築される世界

そして最終的に到達するのは、
データエンジニアが「守り」から完全に解放され、「攻め」に専念できる世界です。

もちろん、全てのデータエンジニアや組織や企業がこの未来に上手く移行できるかは分かりません。弊社もそうでしたが、そもそもモダン化への道半ばであることも多いと思います。
またデータ基盤自体も作っただけでは、コストやクエリパフォーマンス向上程度です。データを整備し、品質を向上させることで初めて真価を発揮します。

その途中のプロセスは、AIには代替が難しい、地道で着実なプロセスが必要となります。
全てのデータエンジニアがビジネスパートナーになるべきとも思いません。
また前述した内容や、このモダン化のプロセス、データ資産自体をデータ化するプロセスなど、AIが代替できない専門領域は多く存在しています。
そのいずれも高度なテクニックやドメイン知識が必要であり、それらはデータエンジニアの力なくしては実現できません

AIロックイン
またAIにすべてを頼り切る、AIロックインというリスクもあると思います。AIの暴走やAIの反乱などネガティブな言葉も良く耳にします。
実際、AIをプロダクト実装するには精度や制御など多くの技術課題を日々感じます。

それでも日本人だからかもしれませんが、小さい頃よりドラえもんなどを見て育った世代としては期待してしまいます。
どんな悩み事も寄り添って話を聞き、解決策を提示してくれて、時には厳しく突き放し、パートナーとして一緒にいてくれるAIやロボットの存在には希望を見出してしまいます。

楽観主義的な発想も顧みれば、すべてドラえもんのせいかもしれません。

のび太のようにマイペースに穏やかに生きることも、ドラえもんが未来から来たことで実現できました。(あの未来改変がなぜ未来パトロールに処罰されないか不思議ですが・・)

私自身もどちらかと言えば、黙々とマイペースにデータエンジニアリングをしている方が好きだったりします。

多様な役割と組織戦略
ただテクノロジーの進化は必然です。そのような中である意味、数年後に起こりうる世界を想像して、今日一日の行動、明日からのアクションを変えてみることは大事だと思います。

そして組織としては多様な役割が必要です。
技術を極めるエンジニア、ビジネスと伴走するエンジニア、その両方が価値を発揮できる環境を作ることが、本部長としての私の役割だと考えています。

そしてそれらを考える上でも、プラットフォーマーが提供するサービス戦略を理解しようとすることが非常に大事だと考え、この記事を書くことに至りました。

もちろん、この未来予想が全く外れてしまうことも十分考えられますが、このような仮説(ベクトル)を持つことで様々な思考が一気に深まることにつながります。
また予想が外れたら外れたで、こんな機能が欲しいんだ!!とSnowflake社にたくさん機能要求をぶつけたいと思います!


この記事を読んでくれたあなたへ

もしあなたが、「自律化で自分の仕事がなくなるのでは」と不安に思っているなら。この記事が、少しでも希望になれば嬉しいです。

またあなたが、日々の運用やチューニングに追われて、「自分が本当にやりたいことをできていない」と感じているなら。

自律化は敵じゃない。味方である と考えて欲しいと思います。

私もそうですが、よりビジネスに貢献するために、重要ではあるけれど、限られた時間の中で、最大限の価値を生み出すために、AIに任せる領域が増えてきたと思います。

弊社のメンバーや、皆さんにも、本当にやりたいことに集中して欲しいと思っています。

データで世界を変える。
データでビジネスを創る。
データで誰かを幸せにする。

そのために、私たちには時間が必要です。Snowflakeは、その時間をくれようとしています。

最後は、私からの問いかけとなります。

データエンジニアはより強く輝きます!一緒に未来へチャレンジしましょう!


最後の最後に:Snowflakeへの期待

Snowflake社の皆さん、もしこの記事を読んでくれているなら、一つだけお願いがあります。

Adaptive Warehouseのパブリックプレビューを早く!
(弊社、ずっと待ってます!)


長文を最後までお読みいただき、本当にありがとうございました。


ここからは宣伝です。

DATA SUMMIT と Data Engineering Studyの紹介

11月26日にPrimeNumerさん主催のDATA SUMMITで登壇します。
https://primenumber.com/data-summit/2025?session=DT-2

このイベントはData Engineering Studyの出張イベントになっています。
https://forkwell.connpass.com/event/369949/

「AI時代にデータエンジニア/アナリストが生き残るためにすべきことは?」
すごい方々とすごいテーマでパネルディスカッションするので大変緊張しております!
興味をもっていただけたら、ぜひイベントに申し込んでください!

SnowVillageについて

このような記事を書くきっかけとなったのは、SnowflakeのユーザーコミュニティであるSnowVillageを通じて、様々な方との出会いがあったからです。

コミュニティに参加するだけで様々な知見や学びを得られますし、イベントに参加することでより実践的で深い技術やノウハウを学ぶことが出来ます。それらを通じてデータエンジニアとして成長する機会も大きく増えると思いますので、少しでも興味を持った方はぜひご参加ください。
またいきなりコミュニティに入るのは・・という方もまずはSnowVillageが運営するYoutubeチャネルでアーカイブを観たり、配信を視聴してはいかがでしょうか?最新のアップデートや技術ニュースなど様々なことを楽しく学べると思います!

SnowVillage
https://usergroups.snowflake.com/snowvillage/

イベント案内
https://techplay.jp/community_group/snowflake_users

Snowflake Data Heroes

Discussion