Azure の バックボーン や ネットワーク を図解してみる

こちらは Microsoft Azure Tech Advent Calendar 2025 1日目 の記事です。

はじめに

Azure を支えるネットワークインフラ について、公式ドキュメント等にある情報をまとめつつ、図解しながら、その構造や通信の経路などを掘り下げてみます。特に バックボーン あたりをフォーカスして記載しています。また本記事とあわせ、本当に通信がインターネットに出てないか検証した記事も併せてご覧ください。

https://zenn.dev/microsoft/articles/azurebackbone-datadog/

早速図解してみる - Azure ネットワークの概要

Azureのデータセンター内(左端) から オンプレミス拠点(右端) までのネットワーク概要

Azureのデータセンター内 個々のリソースまでのネットワーク概要

概ね全体像はこのようなイメージです。

• Azure のリージョンを構成する複数のデータセンター同士は RNG (Regional Network Gateway) を介して接続されています。
• 各リージョンは Microsoft のバックボーン (Microsoft Global Network) に接続されており、バックボーンを介して他のリージョンや、インターネットへ接続されます。
• Azure のデータセンター内では、クラスター と呼ばれる単位で様々な機器がまとめられており、そのクラスター同士がネットワークで接続されています。

手元のデバイス が Azure のリソースと End-to-End でどのように通信するのか、全体の流れをイメージするのに、以下1分ほどの動画が参考になります。
https://www.youtube.com/watch?v=Am7bnGaXt4E&t=7s

バックボーン

狭義のバックボーン (Microsoft Global Network)

バックボーンという言葉がどこを指しているのか曖昧なことも多いのですが、狭義では、Azure データセンター間を結ぶ大規模なプライベートネットワーク(WAN)を指します。

狭義のバックボーン(Microsoft Global Network)

https://learn.microsoft.com/ja-jp/azure/networking/microsoft-global-network#get-the-premium-cloud-network

図の左側、各 Azure リージョン と 接続されていることや、図の右側、エッジ ノードを介してインターネットと接続されていることが記載されています。ここを構成する物理的なものとしてイメージしやすいのは、海底ケーブルあたりでしょうか。

マイクロソフトのグローバル ネットワーク (WAN) は、優れたクラウド エクスペリエンスの提供の中心部です。 グローバル ネットワークは、世界中に戦略的に配置されたエッジ ノードの大規模なメッシュを使用して、61 の Azure リージョンにある Microsoft データ センターを接続しています。

戦略的に配置されたエッジ ノードを経由して、お客様のトラフィックがこのグローバル ネットワークに入った瞬間から、データは最適なルートを通ってほぼ光速で移動します。 これらのエッジ ノードはすべて、175 を超える場所で、何千もの接続を介して、4,000 を超えるインターネット パートナー (ピア) に相互接続されています。これにより、Microsoft の相互接続戦略の根幹が築かれています。

広義のバックボーン

さて、広義では、以下の範囲全てについて指していることもあります。

広義のバックボーン

よく、この通信はバックボーン内で行われているか？インターネットに出ないか？といった議論がありますが、その場合には、広義のバックボーンを指していることが多いかと思います。

よく聞かれる、バックボーン内での通信

• ①： Azure VM から Azure データセンター内の他のリソース (PaaS サービス等) への通信
• ②： Azure データセンター間の通信 (ゾーン間通信など）
• ③： Azure データセンターから Microsoft の他のサービス (Microsoft 365 や Entra ID など) への通信

以下のドキュメントにも明言されていますが、これらの通信はインターネットを経由しません。ただやはり、図にしてみると、右端にある Internet を経由しそうには無いな、とイメージしやすいと思います。

https://learn.microsoft.com/ja-jp/azure/networking/microsoft-global-network#get-the-premium-cloud-network

Microsoft サービスの使用時はすべてのトラフィックがこのようにルーティングされるのでしょうか。 はい。Microsoft Azure 内のデータセンター間、または Virtual Machines、Microsoft 365、Xbox、SQL DB、Storage、仮想ネットワークなどの Microsoft サービス間のあらゆるトラフィックはこのグローバル トラフィック内でルーティングされ、決してパブリック インターネットを経由しません。

Azure Datacenter 間の Hub : RNG

Azure の各リージョンには RNG (Regional Network Gateway) と呼ばれるネットワークのハブが存在します。データセンター同士や、 Microsoft Global Network とリージョンを接続する役割を持っています。

リージョンを構成する複数のデータセンター同士を直接接続するのではなく、 RNG を介した接続にすることでデータセンターを増設する拡張性を確保しています。

当然のことながら RNG は冗長化されており、 RNG 同士は十分離れて配置され、同時に障害にならないよう考慮されています。また、万が一 RNG に障害が発生した場合でも、残る RNG のみで稼働できるほどの十分な帯域幅を確保する設計になっています。 （公表されている帯域幅 や SLA があるわけではありませんが）

バックボーン や RNG については、Inside Azure Networking with Mark Russinovich: Part 3 | Ignite 2020 や、サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密 などの発表動画も参考になります。

エッジノード (PoP: Point of Presence)

Internet との接続点

エッジノード や エッジ ロケーション 、 PoP とも呼ばれる、Microsoft の ネットワーク の入り口／出口となる拠点です。これらの場所は、 Azure のリージョンとは別の場所であり、世界中に多数配置され、ユーザーに近い場所でトラフィックを受け入れて Microsoft のネットワークへ接続点となります。

最寄りのエッジから Microsoft ネットワークに入り、高速に Azure リソースへ到達する

ExpressRoute との接続点

エンタープライズのお客様の場合には、ExpressRoute で接続されていることも多く、 ExpressRoute のピアリングのロケーションから Microsoft のネットワークへ接続する構成の場合も多くあります。

ExpressRoute 経由での接続イメージ

このようにみてもらえれば、ExpressRoute 経由での接続は、インターネットを経由する接続に比べて、セキュアであるというよりも、帯域や安定的な接続といった観点から有利であることもイメージしやすくなります。
つまり、インターネット（複数の AS の集合体）を介して接続するイメージは、以下のようなイメージであり、複数のネットワーク(AS)を跨いで Microsoft のエッジノード に到達するのに対し、ExpressRoute 経由での接続は、接続プロバイダ様が用意した閉域網のみを通って Microsoft のエッジノードまで直接接続されるため、より安定した接続が可能となります。

インターネット経由での接続イメージ

Azure Peering Service

類似のサービスである Microsoft Azure Peering Service は、インターネットを利用した接続ではありますが、不特定多数の AS を経由せずに、お客様の契約した ISP の AS のみを通って エッジノード まで接続するサービスです。

Microsoft Azure Peering Service での接続イメージ

エッジノード の場所

このエッジノードは、 ExpressRoute の ロケーション である場合や、 Microsoft Edge のインターネット向け PoP である場合、両方が共存する場合もあります。ただし共存というのは、近い場所や施設にある可能性があるというだけで、物理的に同じものというわけではありません。

• Azure Front Door : インターネット向け PoP
  https://learn.microsoft.com/ja-jp/azure/frontdoor/edge-locations-by-region

• ExpressRoute ピアリングの場所(meet-me) : Microsoft エンタープライズ エッジ (MSEE) デバイスが配置されているコロケーション施設
  https://learn.microsoft.com/ja-jp/azure/expressroute/expressroute-locations-providers?tabs=america%2Ca-c%2Ca-k

Microsoft のもつ ASN (Autonomous System Numbers)

すでに ASN については述べてしまいましたが、他にも Microsoft は、多数の ASN を保有しています。私の知る限り、 Azure をはじめ、ほとんどの Microsoft サービスは AS8075 を利用している感じです。

ASN	登録名 (AS-Name)	用途など
AS8075	MICROSOFT-CORP-MSN-AS-BLOCK	多くのサービス (Azure、Office/M365, 一般 Web サービスなど) に使われる、Microsoft の“コア／グローバル”バックボーン。ほぼすべてと言っていいほど、ココに集約されている。
AS8068	MICROSOFT-CORP-MSN-AS-BLOCK	Microsoft Defender（security.microsoft.com）などで利用されている ASN
AS12076	MICROSOFT	Azure の Peering／ExpressRoute 等) に使われる ASN。→ ExpressRoute のルーティングの要件
AS398657	MICROSOFT-AZURE-DEDICATED	Azure VMware Solution 等で利用

より細かな、Microsoft 所有の AS 一覧などは https://whois.arin.net/rest/org/MSFT/asns 等で確認できるかと思います。

また、これらの通信も Microsoft のバックボーン内で完結しています。

Azure データセンター内の通信

Azure の リージョン や 可用性ゾーン を構成する データセンター
可用性ゾーンに対応した Azure のリージョンは（東日本も、西日本も対応しています）、3つの可用性ゾーンから構成されており、可用性ゾーン自体も、複数のデータセンターで構成されています。

既にご紹介した通り、データセンター同士は RNG を介して接続されており、直接接続されているわけではありません。正確な数字は明らかにはなっていませんが、概ね データセンターあたり 数百Tbit の帯域幅で RNG と接続された構成になっているようです。

Azureのデータセンター内 個々のリソースまでのネットワーク概要
データセンターは、「クラスター」 という単位に大きく分割されています。
この「クラスター」は、仮想化環境を動かすサーバだけではなく、Rack、電源、 スイッチ/ルーター等 も含めたワンセットです。
また「クラスター」は、例えば「コンピューティング」クラスターや「ストレージ」クラスター である場合もあります。

Guest VM 同士の通信が、同じクラスター内で完結することも、異なるクラスター間で発生することもあります。
また、Guest VM がマウントしている Azure Managed Disk は、実態としては、ホストされている コンピューティング クラスター とは異なる、ストレージ クラスター に存在しています。そのため、データセンター内ではそういった通信も生じています。

https://learn.microsoft.com/ja-jp/azure/security/fundamentals/infrastructure-network#datacenter-network-resiliency

https://azure.microsoft.com/en-us/blog/the-network-is-a-living-organism/

https://jpaztech.github.io/blog/archive/azure-datacenter-infrastructure-1/#Azure-データセンター内の通信

https://learn.microsoft.com/ja-jp/azure/security/fundamentals/infrastructure-components#azure-management-by-fabric-controllers

Azure では、物理サーバー (ブレード/ノード) で実行されている VM は、約 1000 のクラスターにグループ化されます。

おわりに

Azure のバックボーン や ネットワーク について、図解しながらまとめてみました。
この記事が、Azure のネットワークを理解する一助となれば幸いです。

参考情報

• マイクロソフトのグローバル ネットワーク
• Azure ネットワーク アーキテクチャ
• Inside Azure Networking with Mark Russinovich: Part 3 | Ignite 2020
• サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
• The network is a living organism
• Azure データセンター ネットワーク インフラストラクチャー
• Azure 情報システムのコンポーネントと境界
• Networking innovations that drive the cloud disruption
• Azure Peering Service の概要
• [Day5] Azure のネットワークがさっぱり分からん