re:Invent 2025: Nasdaqがdbtで実現するグローバル市場データ基盤の構築と拡張
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！
re:Invent 2025 の書き起こし記事については、こちらの Spreadsheet に情報をまとめています。合わせてご確認ください
📖re:Invent 2025: AWS re:Invent 2025 - Scaling Data Transformation w/ dbt & Nasdaq: Unlocking Ent Power Global Mkts
この動画では、Nasdaq Eqlipse Intelligence PlatformのプロダクトストラテジストMichael Weissが、dbtを活用したグローバル市場データ基盤の構築について解説しています。Nasdaqは、Market Services、Capital Access Platforms、Financial Technologyの3つの柱で構成され、Intelligence Platformはデータ管理、アナリティクス、レポーティング、ビリングの4領域をカバーします。dbt Enterpriseを採用した理由として、マルチテナンシー、dbtメッシングによる拡張性、セマンティックレイヤーによるコンテキスト提供、ガバナンスとリネージの可視性が挙げられています。Nasdaqマップドデータレイヤーを契約レイヤーとして定義し、標準分析モデルを提供しつつ、顧客独自のモデル拡張も可能にしています。最終的には、グローバル共通のオントロジーとセマンティクスを確立し、AIエージェントとの統合、さらにはデータモデルマーケットプレイスの実現を目指しています。ノーコード体験の提供により、技術者以外のユーザーもデータモデリングに参加できる環境を構築している点が特徴的です。
※ こちらは既存の講演の内容を最大限維持しつつ自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますのでご留意下さい。
本編
Nasdaqの3つの柱とFinancial Technology部門の紹介
皆さん、ありがとうございます。私の名前はMichael Weissです。Nasdaq Eqlipse Intelligence Platformのプロダクトストラテジストを務めております。本日は、私たちがどのようにdbtを活用して自社のマーケットを可能にしてきたか、そしてグローバルレベルでマーケットを可能にしてきたかについて、少しお話しさせていただきます。それでは、簡単なアジェンダから始めたいと思います。 あまり長くならないことを願っていますが。ハッピーアワーがもうすぐですし、皆さんは私の話を聞くよりもそちらの方が楽しみだと思いますので。ですが、まずはNasdaqとは何かという簡単な紹介から始めようと思います。皆さんが何について話しているのか分かるようにですね。
Nasdaqについてお話しする際、Nasdaqは主に3つの柱で考えることができます。まず第一に、Market Servicesの柱があります。これは多くの人がNasdaqとして知っている部分です。これらは、Nasdaqが北米とヨーロッパで所有・運営しているマーケットです。これには、取引量で米国最大の取引市場が含まれています。2つ目は、Capital Access Platformsです。これは主に上場事業を担当する部門で、現在約3,500社を上場させています。この分野の大きな部分として、インデックスサービスもあります。Qsなどを聞いたことがある方もいらっしゃるかもしれませんが、それは私たちのポートフォリオの大きな部分を占めています。そして最後の柱は、Financial Technologyの部門です。これは、おそらく多くの人がNasdaqについて考えない部分だと思います。Nasdaqは、金融市場におけるさまざまなソリューションのニーズをサポートするため、グローバルで約4,000の顧客にサービスを提供しています。
Financial Technologyについて少し掘り下げて、Nasdaqがクライアントに提供できるサービスの幅広さをご理解いただきたいと思います。私たちは、Verafin製品による金融犯罪管理から、規制報告とサーベイランスのためのAxiomSLによる規制技術まで、市場でのコンプライアンスを確保するためのあらゆるものをカバーしています。そして最後に、Capital Markets Technologyがあります。これにはCalypsoとNasdaq Eqlipseの両方が含まれており、銀行と市場の両方に対して完全な取引ライフサイクルをカバーしています。
Eqlipse Intelligence Platformの全体像とアーキテクチャ
それでは、Nasdaq Eqlipseとは何か、そしてその領域を構成する製品について、もう1分だけお話しさせてください。その後、本日私がお話しする製品について、そしてdbtがそこでどのような役割を果たしているかについて説明します。Eqlipseには4つの主要な技術領域があります。まずはトレーディングシステムです。これは、マーケットが取引を実行するためにデプロイするものです。次にクリアリングがあり、これは顧客のクリアリングニーズをサポートしています。そして、その主要な取引ライフサイクルの最後にカストディがあります。そして、本日私がお話しする領域は、私たちの新しい製品であるIntelligence Platformです。Intelligence Platformは、これらすべての情報を収集し、顧客がそれを活用して新しいユースケース、新しい製品、そして顧客に販売する新しいサービスを可能にすることを担当しています。
それでは、Eqlipse Intelligence Platformについて少し掘り下げて、それが何であるかをご理解いただきましょう。 Eqlipse Intelligence Platformについて考えるとき、プラットフォームの観点から本当に4つの主要な領域があります。すべての基盤となるのはデータ管理です。これは、自社製品や他のサードパーティからデータをどのように取得するか、その情報をどのように保存するか、そのデータのガバナンスをどのように確保するか、そして他のデータ変換サービスからAIやエージェンティックなユースケースまで、さまざまな異なるユースケースやサービスがそのデータと通信できるようにオープンなエコシステムをどのように維持するかまで、すべてを含んでいます。
次に私たちが考える主要な柱は、アナリティクス、つまり市場やビジネスを運営するためにデータから得る必要のあるインサイトです。ここにはいくつか考慮すべき点があり、これがdbtが主に該当する領域となります。しかし実際のところ、アナリティクス側で私たちがサービスを提供しようとしているのはビジネスです。できるだけ直感的な方法で、できるだけ多くの情報へのアクセスを提供しようとしています。従来はダッシュボードやレポーティングで行われてきましたが、明らかに今日の世界では、よりエージェンティックなユースケースやデジタルワーカータイプのユースケースも検討しています。
3つ目の柱はレポーティングに関するものです。皆さんの最善の努力にもかかわらず、CSVファイルやPDFを送信することは、私たちがやらなければならないことの大きな部分を占めています。そこで私たちは、お客様がそれを自動化し、セルフサービスポータルとレポート作成機能を提供することで、お客様の顧客との摩擦を減らすことができるサービスを提供しています。テクノロジーやエンジニアが実際に関与する必要はありません。そして最後の1つは、他の3つのカテゴリーには当てはまらないように見えるかもしれませんが、マネージドビリングソリューションです。これは、お客様がトランザクション関連または非トランザクション関連の料金を顧客に請求する必要がある方法に焦点を当てています。
Eqlipse Intelligence Platformについてお話しすると、これはアーキテクチャ図とは呼びませんが、コンポーネントがどのように配置されているかについてのアイデアを得ることができます。まずCapital Markets Technologyに戻りますが、最初に私たちが行おうとしているのは、他のNasdaq製品やサービスとネイティブに統合することです。お客様がIntelligence Platformを購入したとき、他のNasdaqサービスからどのようにデータを取得するかについて考える必要がないようにしたいのです。それは私たちが対応します。それが左側にあるすべてのものです。Nasdaqからの独自データに加えて、お客様が独自のデータをプラットフォームに持ち込むことができるようにしており、それらを融合させて、私たちがすでに管理しているデータと並べて配置することができます。
グレーのボックスには、4つの主要なものがあります。インジェスチョンエンジンが実際にそこで動作しており、これが他のすべての製品やサービスとの統合にとって極めて重要なものです。クラウドデータレイクについては、皆さんおそらくデータレイクが何であるか理解されていると思いますが、これが情報の主要な保持とストレージです。お客様が独自のアプリケーションをエコシステムに持ち込みたい場合に、自社のサービスと統合するために使用できる、さまざまなクエリとアクセスエンドポイントを提供しています。そして最後に、データに関するコンテキストの理解と知識があり、それがデータカタログサービスです。
そして右端の緑色の部分は、他のすべての上に位置するビジネス製品とアプリケーションと考えることができます。アナリティクスについて言及したとき、それがInsights HQ製品です。これは、より従来型のダッシュボードユースケース、ダッシュボードを作成、公開、共有する機能に焦点を当てており、社内外の両方で利用できます。Report HQ製品はレポーティングに焦点を当てており、Revenue HQは私が言及したビリングコンポーネントです。そして申し上げたように、これらは私たちからIntelligence製品を購入する社内のお客様に公開することもできますし、お客様の顧客にアクセスを提供して摩擦点を減らし、顧客が意思決定に必要な情報を確実に得られるようにするために使用することもできます。
dbtの戦略的活用：統合アプローチとdbt Enterprise選択の理由
それでは、本題に入りましょう。このプラットフォーム、このエコシステムにおけるdbtの役割についてです。なぜなら、dbtは私たちの活動において非常に重要な役割を果たしているからです。dbtが何をするのかに入る前に、dbtを活用するにあたって私たちが持っていたいくつかの目標を説明することが重要だと思います。そして多くの点で、これらは2021年に遡って、すべてがNasdaqのユースケースのみに焦点を当てていた時から持っていたのと同じ目標なんです。私たちは、内部の顧客がその情報を使えるようにするために、既存の製品やサービスと統合する必要があることを理解していました。エンドカスタマーに対して、より優れたビジネスモデルや分析モデルを提供し、彼らが実際に自分たちのビジネスで何が起こっているのかを解析し理解できるようにする必要があります。
それに加えて、内部ユーザー、そして今では外部ユーザーに対しても、モデル作成を拡張し参加できる能力を提供したいと考えていました。多くの場合、それらのデータモデルや従来のETLプロセスは、エンジニアリングリソースの後ろに閉じ込められていました。私たちは参入障壁を下げて、より多くのチームがこのプロセスに協力し参加できるようにしたかったのです。そしてdbtは、社内でそれを本当に実現してくれましたし、今では社外でもそれを実現できるようにしてくれています。そして最後の部分は、ユーザーとAIの両方に標準と契約を強制できるアクセスポイントを提供することです。今日の世界では、コンテキストのないデータは少し制限的です。エージェントを起動する際には、それが正しい方法でデータと対話していることを知りたいですよね。そしてそれが、dbtで実現しようとしていることの本当に重要な推進力なんです。
では、なぜこれをやっているのか？私たちにとっての戦略的ビジョンは何か、そしてなぜIntelligenceプラットフォームを作ることにしたのか、なぜdbtなのか？それは本当に、私たちがこれから得ようとしているいくつかの目標となる成果に集約されます。私たちは、自分たち自身のためにこれらすべてを行っているからこそ、データプラットフォームの管理とベースラインデータモデルの構築という負担をすべて取り除くことで、顧客により速いイノベーションを提供できると信じています。彼らが本当の差別化要因に集中できるようにし、私たちがより多くの重労働を引き受けるのです。
もう一つ考えるべきことは、世界の金融ファブリックをより統一されたものとして考え始めたいということです。つまり、私たちが始めようとしているのは、その情報に対する標準的な理解とセマンティクスを構築することです。アメリカで運営していても、ヨーロッパでも、アジアでも、ラテンアメリカでも、私たちは皆同じ構造、同じオントロジー、同じセマンティクスで話すことができるのです。そしてそれは、よりグローバルベースの経済にとって大きな解放になるでしょう。明らかに、今や私たち全員が互いに情報を共有し提供できるようになるからです。そしてそれはまた、グローバルにソースされたモデル定義につながります。これは本質的に巨大なアウトソーシングの取り組みです。顧客が私たちのモデルを使用するだけでなく、それらのモデルに貢献し、パートナーやユーザーとよりシームレスな方法で共有できる能力です。
では、dbt統合と製品の観点から、アーキテクチャ的に私たちは実際にどのように考えているのでしょうか？申し訳ありませんが、これは高レベルですが、私たちがこれをどのようにレイアウトしているかのアイデアを提供します。Intelligenceプラットフォームのデプロイ方法は、実際には私たちがハイブリッドテナントアプローチと呼んでいるものです。おそらく多くの人はそれが何を意味するのか知らないでしょうが、実際にここにあるのは、共有コンポーネント（これらはすべてマルチテナント）と、シングルテナントコンポーネント（これは顧客のデータが存在する場所）に基づいて、サービスを分離し隔離しているということです。そして私たちがそれを行う理由はいくつかあり、地域の法律が最も大きな部分を占めていますが、もちろんセキュリティやその他の楽しいものもあります。
dbtについても、私たちは同様のアプローチを取っています。メインのdbtアカウントがあり、そこでNasdaqがdbt開発のほとんどを行い、モデルをテストして、それらのモデルを公開していきます。そして、dbtモデルでのコラボレーションに興味のあるお客様には、専用のdbtアカウントを提供し、考える必要のないさまざまなものを事前に設定しておきます。GitLabでのコードのソース管理方法から、テストカバレッジやコーディング標準などをテストするCI/CDプロセス、
さらにはdbt内でNasdaqのデータモデルに依存して、それらを拡張し、独自の情報を追加する方法まで、すべてを含みます。では、dbtプロジェクト構造の観点から見ると、これはどのようなものになるのでしょうか。私たちがこれをどう考えたかは興味深いものです。左側の青い部分はすべて、Nasdaqが提供し、すぐに使える状態で提供するものです。明らかに、まず第一に、私たちは常に自社の製品やサービスと統合していきますし、それについては触れました。
しかし、契約セクションにNasdaqマップドデータレイヤーがあることにもお気づきでしょう。なぜそれがあるのか疑問に思われるかもしれません。私たちがそれを考える理由はいくつかあります。一つは、それがビジネス用語で定義したいデータの最下層レベルだということです。つまり、トランザクションデータをよりビジネスフレンドリーな方法で定義することを考えています。しかし二つ目として、Nasdaq以外のエンティティやサービスもエコシステムにプラグインできる柔軟性と機能を提供したいと考えています。その契約レイヤーを持つことで、私たちがすでにサービスを提供している製品と同じドメインにある他のツールやサービスが、即座にプラグインして独自のデータをマッピングできるようになります。
契約レイヤーに入ると、そこからNasdaq標準分析モデルとインサイトモデルについて話し始めます。これらは、お客様が興味を持っているドメイン内で、すべてのお客様に自動的に提供されるものです。しかし、それだけでは常に十分とは限りません。おそらく人々が必要とするものの80%はカバーできるでしょう。しかし、お客様が独自に行いたいことがあることは理解しています。そこで、お客様がプラットフォームに独自の情報を提供し、独自の契約や独自のモデルを作成したり、私たちのモデルを拡張したりできる機能が本当に重要になります。なぜなら、すべてのユースケースをカバーできない場合、お客様がデータの上で真の価値と機能を引き出すためのボトルネックになりたくないからです。
この中で最後に興味深い部分はセマンティックレイヤーです。セマンティックレイヤーが完璧な用語だとは言いません。なぜなら、セマンティックという用語は、私たちが達成しようとしていることを説明するものではないと思うからです。セマンティックについて考えるとき、私たちが本当に意味しているのはコンテキストです。私たちが行おうとしているのは、従来のBIユースケースであれ、エージェンティックなユースケースであれ、データについての文脈的な知識のレイヤーを提供することで、彼らが対話しているデータを理解し、正しい方法で使用していることを知ることができるようにすることです。
それに加えて、彼らが取得するデータに対して特定の基準を強制できるようにしたいと考えています。例えば、計算があって平均値のみを取得させたい場合、従来のデータストアに行くだけでは、強制する手段がありません。彼らは好きなようにできてしまいます。セマンティックレイヤーを使えば、こういったタイプの機能を強制できるので、最も理にかなった方法でのみデータを活用できるようになります。
では、なぜ私たちはdbtを選び、dbt Enterpriseを使用しているのでしょうか?今お話ししたことすべては、おそらくオープンソースのdbtでもできるでしょう。それは素晴らしいオープンソースプロジェクトですし、使ったことがある人なら誰でも同意すると思います。では、なぜdbt Enterpriseにしたのでしょうか?まず第一に、自分たちで構築するよりも、マルチテナンシーへの最も簡単な道を提供してくれたからです。第二に、dbtメッシング、つまりdbt Enterpriseエコシステム内のプロジェクトに依存できる機能は、お客様に拡張性を提供する上で非常に重要です。
セマンティックレイヤー、つまりそれらのルールを公開し、アクセスポイントからそれらのルールを強制する機能も、私たちの全体的な提供内容にとってより重要になってきています。ガバナンスとリネージと可視性は不可欠です。適切なユーザーが適切なものにアクセスでき、データがどのように導出されるかを理解し、何が起こっているかを把握できるようにしたいのです。最後に挙げるのは、dbt Enterpriseには継続的デリバリーと標準の強制に関する多くの優れたツールがあるということです。
dbtについて最後に一つ触れておきたいのは、一般的な開発体験についてです。dbt Enterpriseは、もし使ったことがなければ、dbtモデルを作成するための素晴らしいインターフェースを持っています。より技術的なユーザーでSQLの側面に踏み込みたい場合でも、あるいはdbt Enterpriseが今持っているCanvasのようなもので、よりドラッグアンドドロップができる場合でも、Nasdaq内部だけでなくお客様にとっても、さまざまなユーザーがデータコントラクトとデータライフサイクルの管理に参加できるようになります。
グローバル展開のロードマップと成功指標の設定
では、これをどのように展開していくか考えているのでしょうか?考えることがたくさんあります。グローバル規模で何かをデプロイすることについて話すとき、多くの動く部品があります。一つは、正しい方法で行っていることをどう確認するか?安全な方法で行っているか、そしてまた、自分たちの方向性が正しい方向に進んでいることを確認するために、どのように自分たち自身を基準に戻しているか?
私たちがこれについて考えた方法は、まず、私たちが最もよく知っている領域に焦点を当てることです。それは、私たちが知っているデータに関する共通のオントロジーとセマンティクスを定義することです。なぜなら、これらの契約、これらのデータモデルを正しく構築できれば、次のフェーズに進むことができるからです。それは、クライアントがその拡張性を提供できるようにすることです。拡張性の側面に到達したら、次に、その情報をAIやエージェント的なユースケースにどのように公開するかについて話したいと思います。デジタルワーカーがそのデータと対話し、脱線せずに正しいことを行っていることをどのように確認するかということです。
最終フェーズは、私たちが到達しようとしている目標の1つですが、データモデルマーケットプレイスです。データとデータの収益化について話すとき、私たちは常にデータそのものについて話します。潜在的に販売できるデータモデルについては決して話しません。もし私たち全員がベースラインの共通の定義と理解を持っていれば、顧客は今、独自の構造を作成し、それを再パッケージ化して、グローバル規模でIntelligence Platform上の他の消費者に販売する機会を得ることができます。これは、dbtのようなものがなければ以前は不可能だった新しい収益化手法です。
では、これを少しまとめますと、クライアントの観点から私たちが考えている価値ドライバーは何でしょうか?私たちは何に対して測定しようとしているのでしょうか?今後12ヶ月から18ヶ月の間にこれについて考えるとき、私たちが成功していることをどのように知ることができるでしょうか?まず第一に、私たちの顧客はデータに簡単にアクセスできているでしょうか?彼らはそのデータを理解しているでしょうか?そのデータのおかげでより良い意思決定を行っているでしょうか?これは明らかに私たちが考えることができる最も簡単なものです。なぜなら、これはこの時点で20年間存在している普遍的なものだからです。
2つ目は、エージェント的なユースケースへの関与と使用を容易にしたかということです。私たちが行っている作業は、顧客がAIでより速く進むことを可能にしているでしょうか?3つ目は、新しい顧客データアクセスサービスを可能にしているかということです。以前はできなかった新しく興味深い方法でデータと対話する能力を彼らに提供しているでしょうか?
また、私たちのモデルのうち実際にどれだけが再利用可能かを測定したいと考えています。カスタムの一回限りのモデルを作るビジネスをしたいわけではありません。すべての顧客が恩恵を受けられるとわかっているモデルを作りたいので、ここでは幅広い範囲での使いやすさを測定していることを確認したいのです。
そしてもう一つ指摘したいのは、ノーコード体験です。技術者でない人々が、これまでできなかった方法でデータに本当に関与できるようにしているでしょうか。データモデリングの側面では、Canvasやdbt Enterpriseのようなもので、またデジタルワークやエージェント側でも同様です。データは彼らのユースケースに合わせて特別に構築されているでしょうか。彼らは正しい答えを得ているでしょうか。なぜなら、もしそうでなければ、これらすべては意味がないからです。彼らが自分のやっていることを信頼できるようにする必要があります。
ということで、3分早く終わりましたので、皆さんビールやカクテルを取りに行けますね。もし質問があれば、お気軽にどうぞ。でも、今日お越しいただいた皆さんに感謝します。そして、re:Inventの残りの時間を楽しんでいただければと思います。
※ こちらの記事は Amazon Bedrock を利用し、元動画の情報をできる限り維持しつつ自動で作成しています。
Discussion