<p>本記事は、Microsoft Azure Tech Advent Calendar 2023<sup class="footnote-ref"><a href="#fn-7e01-1" id="fnref-7e01-1">[1]</a></sup> の 13 日目の記事です。</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__1a8d74cd7572c" src="https://embed.zenn.studio/card#zenn-embedded__1a8d74cd7572c" data-content="https%3A%2F%2Fqiita.com%2Fadvent-calendar%2F2023%2Fmicrosoft-azure-tech" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://qiita.com/advent-calendar/2023/microsoft-azure-tech" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://qiita.com/advent-calendar/2023/microsoft-azure-tech</a></p>
<h1 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h1>
<p>ExpressRoute で Azure VNet と接続されたオンプレミスからのインターネット向けの通信を、Azure 上の NVA に集約したいこともあると思います(きっと)。Azure Route Server(ARS) を利用して Azure からオンプレミスにデフォルトルートを広報し、NEXT_HOP として Azure Firewall の IP を指定することによって逆強制トンネリングのような構成をとることが可能です。本記事では、この構成の検証結果をまとめます。</p>
<h1 id="%E7%92%B0%E5%A2%83%E6%BA%96%E5%82%99">
<a class="header-anchor-link" href="#%E7%92%B0%E5%A2%83%E6%BA%96%E5%82%99" aria-hidden="true"></a> 環境準備</h1>
<h2 id="%E3%82%A2%E3%83%BC%E3%82%AD%E3%83%86%E3%82%AF%E3%83%81%E3%83%A3">
<a class="header-anchor-link" href="#%E3%82%A2%E3%83%BC%E3%82%AD%E3%83%86%E3%82%AF%E3%83%81%E3%83%A3" aria-hidden="true"></a> アーキテクチャ</h2>
<p>以下のような構成を用意します。下半分(ブランチ)のネットワークについては経路確認のときにどうしても入ってくるので存在感だけ出しております。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--daB3z9ng--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/e0271c027acc206cc8a1279e.png%3Fsha%3D9e07f84ef665a4ef0365d1cdd2518d3a95457438" loading="lazy" class="md-img"></p>
<h2 id="%E7%B5%8C%E8%B7%AF%E5%BA%83%E5%A0%B1%E7%94%A8%E3%81%AE-nva-%E3%81%AE%E6%BA%96%E5%82%99">
<a class="header-anchor-link" href="#%E7%B5%8C%E8%B7%AF%E5%BA%83%E5%A0%B1%E7%94%A8%E3%81%AE-nva-%E3%81%AE%E6%BA%96%E5%82%99" aria-hidden="true"></a> 経路広報用の NVA の準備</h2>
<p>オンプレミスに対して 0.0.0.0/0 を広報するための NVA を準備します。手順はこちらの記事<sup class="footnote-ref"><a href="#fn-7e01-2" id="fnref-7e01-2">[2]</a></sup>に記載があるような流れに従い、FRRouting を構成します。</p>
<p>アドレス空間が上記アーキテクチャのようになっている場合は、以下のようになります。</p>
<details><summary>FRRouting Config</summary><div class="details-content"><div class="code-block-container"><pre><code>ip route 10.0.2.0/24 10.0.1.1
!
router bgp 65001
 neighbor 10.0.2.4 remote-as 65515
 neighbor 10.0.2.4 ebgp-multihop 255
 neighbor 10.0.2.5 remote-as 65515
 neighbor 10.0.2.5 ebgp-multihop 255
 !
 address-family ipv4 unicast
  neighbor 10.0.2.4 soft-reconfiguration inbound
  neighbor 10.0.2.4 route-map rmap-bogon-asns in
  neighbor 10.0.2.4 route-map rmap-azure-asns out
  neighbor 10.0.2.5 soft-reconfiguration inbound
  neighbor 10.0.2.5 route-map rmap-bogon-asns in
  neighbor 10.0.2.5 route-map rmap-azure-asns out
 exit-address-family
exit
!
bgp as-path access-list azure-asns seq 5 permit _65515_
bgp as-path access-list bogon-asns seq 5 permit _0_
bgp as-path access-list bogon-asns seq 10 permit _23456_
bgp as-path access-list bogon-asns seq 15 permit _1310[0-6][0-9]_|_13107[0-1]_
bgp as-path access-list bogon-asns seq 20 deny _65515_
bgp as-path access-list bogon-asns seq 25 permit ^65
!
route-map rmap-bogon-asns deny 5
 match as-path bogon-asns
exit
!
route-map rmap-bogon-asns permit 10
exit
!
route-map rmap-azure-asns deny 5
 match as-path azure-asns
exit
!
route-map rmap-azure-asns permit 10
exit
!
</code></pre></div></div></details>
<h2 id="ars-%E3%81%AB-bgp-%E3%83%94%E3%82%A2%E3%81%AE%E8%BF%BD%E5%8A%A0">
<a class="header-anchor-link" href="#ars-%E3%81%AB-bgp-%E3%83%94%E3%82%A2%E3%81%AE%E8%BF%BD%E5%8A%A0" aria-hidden="true"></a> ARS に BGP ピアの追加</h2>
<p>ARS のリソースから BGP ピアを登録します。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s----JWxrIp--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/817881eebcc6adc63304a935.png%3Fsha%3D2345aac0c95ed1e4653568ed2cf73c86e8175107" loading="lazy" class="md-img"></p>
<h2 id="frrouting-%E3%81%8C%E5%8F%97%E3%81%91%E5%8F%96%E3%81%A3%E3%81%A6%E3%81%84%E3%82%8B%E7%B5%8C%E8%B7%AF%E3%81%AE%E7%A2%BA%E8%AA%8D">
<a class="header-anchor-link" href="#frrouting-%E3%81%8C%E5%8F%97%E3%81%91%E5%8F%96%E3%81%A3%E3%81%A6%E3%81%84%E3%82%8B%E7%B5%8C%E8%B7%AF%E3%81%AE%E7%A2%BA%E8%AA%8D" aria-hidden="true"></a> FRRouting が受け取っている経路の確認</h2>
<p>この時点で、NVA 側で受けている経路を確認します。BGPでオンプレミス側 (10.20.10.0/24)、Hub(10.0.0.0/16)、VPN ブランチ (10.50.0.0/16) の経路を受け取っていることが分かります。</p>
<div class="code-block-container"><pre><code>vm-frr# show ip route
Codes: K - kernel route, C - connected, S - static, R - RIP,
       O - OSPF, I - IS-IS, B - BGP, E - EIGRP, N - NHRP,
       T - Table, v - VNC, V - VNC-Direct, A - Babel, F - PBR,
       f - OpenFabric,
       &gt; - selected route, * - FIB route, q - queued, r - rejected, b - backup
       t - trapped, o - offload failure

K&gt;* 0.0.0.0/0 [0/100] via 10.0.1.1, eth0, src 10.0.1.6, 00:37:22
B&gt;  10.0.0.0/16 [20/0] via 10.0.2.4 (recursive), weight 1, 00:02:03
  *                      via 10.0.1.1, eth0, weight 1, 00:02:03
                       via 10.0.2.5 (recursive), weight 1, 00:02:03
                         via 10.0.1.1, eth0, weight 1, 00:02:03
C&gt;* 10.0.1.0/24 is directly connected, eth0, 00:37:22
S&gt;* 10.0.2.0/24 [1/0] via 10.0.1.1, eth0, weight 1, 00:27:49
B&gt;  10.20.10.0/24 [20/0] via 10.0.2.4 (recursive), weight 1, 00:02:03
  *                        via 10.0.1.1, eth0, weight 1, 00:02:03
                         via 10.0.2.5 (recursive), weight 1, 00:02:03
                           via 10.0.1.1, eth0, weight 1, 00:02:03
B&gt;  10.50.0.0/16 [20/0] via 10.0.2.4 (recursive), weight 1, 00:02:03
  *                       via 10.0.1.1, eth0, weight 1, 00:02:03
                        via 10.0.2.5 (recursive), weight 1, 00:02:03
                          via 10.0.1.1, eth0, weight 1, 00:02:03
K&gt;* 168.63.129.16/32 [0/100] via 10.0.1.1, eth0, src 10.0.1.6, 00:37:22
K&gt;* 169.254.169.254/32 [0/100] via 10.0.1.1, eth0, src 10.0.1.6, 00:37:22
</code></pre></div><h2 id="nva-%E3%81%8B%E3%82%89-%E3%83%87%E3%83%95%E3%82%A9%E3%83%AB%E3%83%88%E3%83%AB%E3%83%BC%E3%83%88%E3%82%92%E5%BA%83%E5%A0%B1">
<a class="header-anchor-link" href="#nva-%E3%81%8B%E3%82%89-%E3%83%87%E3%83%95%E3%82%A9%E3%83%AB%E3%83%88%E3%83%AB%E3%83%BC%E3%83%88%E3%82%92%E5%BA%83%E5%A0%B1" aria-hidden="true"></a> NVA から デフォルトルートを広報</h2>
<p>BGP で FRRouting からデフォルトルートを広報してみます。以下のように <code>network 0.0.0.0/0</code> として BGP の構成を追加しました。</p>
<div class="code-block-container"><pre><code>router bgp 65001
 neighbor 10.0.2.4 remote-as 65515
 neighbor 10.0.2.4 ebgp-multihop
 neighbor 10.0.2.5 remote-as 65515
 neighbor 10.0.2.5 ebgp-multihop
 !
 address-family ipv4 unicast
  network 0.0.0.0/0
  neighbor 10.0.2.4 soft-reconfiguration inbound
  neighbor 10.0.2.4 route-map rmap-bogon-asns in
  neighbor 10.0.2.4 route-map rmap-azure-asns out
  neighbor 10.0.2.5 soft-reconfiguration inbound
  neighbor 10.0.2.5 route-map rmap-bogon-asns in
  neighbor 10.0.2.5 route-map rmap-azure-asns out
 exit-address-family
exit
</code></pre></div><p>一方でこのままだと 次ホップ が <code>0.0.0.0</code> になってしまっています。</p>
<div class="code-block-container"><pre><code>vm-frr# show bgp ipv4 unicast neighbors 10.0.2.4 advertised-routes
BGP table version is 7, local router ID is 10.0.1.6, vrf id 0
Default local pref 100, local AS 65001
Status codes:  s suppressed, d damped, h history, * valid, &gt; best, = multipath,
               i internal, r RIB-failure, S Stale, R Removed
Nexthop codes: @NNN nexthop's vrf id, &lt; announce-nh-self
Origin codes:  i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

    Network          Next Hop            Metric LocPrf Weight Path
 *&gt; 0.0.0.0/0        0.0.0.0                  0         32768 i

Total number of prefixes 1
</code></pre></div><p>次ホップ を Azure Firewall に向けるため、ルートマップに NEXT_HOP 属性を設定します。</p>
<div class="code-block-container"><pre><code>route-map rmap-azure-asns permit 10
 set ip next-hop 10.0.3.4
exit
</code></pre></div><aside class="msg alert"><span class="msg-symbol">!</span><div class="msg-content">
<ul>
<li>この時点で、Azure Firewall のネクストホップの Azure Firewall になってしまうので、AzureFirewallSubnet の ルートテーブルで <code>0.0.0.0/0-&gt;Internet</code> の UDR が必要となります。</li>
<li>また、Azure Firewall のアプリケーション規則にインターネットへの http/https アクセス許可の規則を追加しておきます。この許可の規則がない場合、インターネットアクセス不可となります。</li>
</ul>
</div></aside>
<h1 id="%E7%B5%8C%E8%B7%AF%E7%A2%BA%E8%AA%8D">
<a class="header-anchor-link" href="#%E7%B5%8C%E8%B7%AF%E7%A2%BA%E8%AA%8D" aria-hidden="true"></a> 経路確認</h1>
<p>どの様な経路が伝搬されているか、オンプレミス・ハブ・ブランチのそれぞれで確認してみましょう。</p>
<h2 id="%E3%82%AA%E3%83%B3%E3%83%97%E3%83%AC%E3%83%9F%E3%82%B9">
<a class="header-anchor-link" href="#%E3%82%AA%E3%83%B3%E3%83%97%E3%83%AC%E3%83%9F%E3%82%B9" aria-hidden="true"></a> オンプレミス</h2>
<p>オンプレミス側に来ている経路を確認してみると、<code>0.0.0.0/0</code>が(<code>172.16.0.2</code> = MSEE)を向いていることがわかります。</p>
<div class="code-block-container"><pre><code>er#show ip route
Codes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP
       D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area
       N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
       E1 - OSPF external type 1, E2 - OSPF external type 2
       i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2
       ia - IS-IS inter area, * - candidate default, U - per-user static route
       o - ODR, P - periodic downloaded static route, H - NHRP, l - LISP
       a - application route
       + - replicated route, % - next hop override, p - overrides from PfR

Gateway of last resort is 172.16.0.2 to network 0.0.0.0

B*    0.0.0.0/0 [20/0] via 172.16.0.2, 01:09:00
      10.0.0.0/8 is variably subnetted, 4 subnets, 3 masks
B        10.0.0.0/16 [20/0] via 172.16.0.2, 1d01h
C        10.20.10.0/24 is directly connected, Vlan10
L        10.20.10.1/32 is directly connected, Vlan10
B        10.50.0.0/16 [20/0] via 172.16.0.2, 22:09:35
      172.16.0.0/16 is variably subnetted, 2 subnets, 2 masks
C        172.16.0.0/30 is directly connected, GigabitEthernet8.708
L        172.16.0.1/32 is directly connected, GigabitEthernet8.708

</code></pre></div><h2 id="%E3%83%8F%E3%83%96-vnet-%E5%81%B4">
<a class="header-anchor-link" href="#%E3%83%8F%E3%83%96-vnet-%E5%81%B4" aria-hidden="true"></a> ハブ VNet 側</h2>
<p>ハブ VNet の VPN Gateway に来ている経路を確認すると、デフォルトルートの次ホップが Azure Firewall になっていることがわかります。</p>
<div class="code-block-container"><pre><code>$ az network vnet-gateway list-learned-routes -g 20231208-cloudlab -n vpngw-clab-hub --output table
Network        NextHop    Origin    SourcePeer    AsPath       Weight
-------------  ---------  --------  ------------  -----------  --------
10.0.0.0/16               Network   10.0.0.14                  32768
10.50.0.5/32              Network   10.0.0.14                  32768
10.50.0.5/32   10.0.0.15  IBgp      10.0.0.15                  32768
10.20.10.0/24  10.0.0.4   IBgp      10.0.2.4      12076-65150  32768
10.20.10.0/24  10.0.0.4   IBgp      10.0.2.5      12076-65150  32768
10.50.0.4/32              Network   10.0.0.14                  32768
10.50.0.4/32   10.0.0.15  IBgp      10.0.0.15                  32768
10.50.0.0/16   10.50.0.4  EBgp      10.50.0.4     65020        32768
10.50.0.0/16   10.0.0.15  IBgp      10.0.2.4      65020        32768
10.50.0.0/16   10.0.0.15  IBgp      10.0.2.5      65020        32768
10.50.0.0/16   10.50.0.5  EBgp      10.50.0.5     65020        32768
10.50.0.0/16   10.0.0.15  IBgp      10.0.0.15     65020        32768
0.0.0.0/0      10.0.3.4   IBgp      10.0.2.4      65001        32768
0.0.0.0/0      10.0.3.4   IBgp      10.0.2.5      65001        32768
10.0.0.0/16               Network   10.0.0.15                  32768
10.50.0.5/32              Network   10.0.0.15                  32768
10.50.0.5/32   10.0.0.14  IBgp      10.0.0.14                  32768
10.20.10.0/24  10.0.0.4   IBgp      10.0.2.4      12076-65150  32768
10.20.10.0/24  10.0.0.4   IBgp      10.0.2.5      12076-65150  32768
10.50.0.4/32              Network   10.0.0.15                  32768
10.50.0.4/32   10.0.0.14  IBgp      10.0.0.14                  32768
10.50.0.0/16   10.50.0.4  EBgp      10.50.0.4     65020        32768
10.50.0.0/16   10.50.0.5  EBgp      10.50.0.5     65020        32768
10.50.0.0/16   10.0.0.14  IBgp      10.0.0.14     65020        32768
0.0.0.0/0      10.0.3.4   IBgp      10.0.2.4      65001        32768
0.0.0.0/0      10.0.3.4   IBgp      10.0.2.5      65001        32768

</code></pre></div><h2 id="%E3%83%96%E3%83%A9%E3%83%B3%E3%83%81-vnet-%E5%81%B4">
<a class="header-anchor-link" href="#%E3%83%96%E3%83%A9%E3%83%B3%E3%83%81-vnet-%E5%81%B4" aria-hidden="true"></a> ブランチ VNet 側</h2>
<p>ブランチ VNet の VPN Gateway で見えている経路を確認すると、デフォルトルートは受け取っていません。VPN Gateway はデフォルトルートを BGP ピアに広報しません<sup class="footnote-ref"><a href="#fn-7e01-3" id="fnref-7e01-3">[3]</a></sup>。</p>
<div class="code-block-container"><pre><code>$ az network vnet-gateway list-learned-routes -g 20231208-cloudlab -n vpngw-clab-brach-eus --output table
Network        NextHop    Origin    SourcePeer    AsPath             Weight
-------------  ---------  --------  ------------  -----------------  --------
10.50.0.0/16              Network   10.50.0.5                        32768
10.0.0.14/32              Network   10.50.0.5                        32768
10.0.0.14/32   10.50.0.4  IBgp      10.50.0.4                        32768
10.0.0.15/32              Network   10.50.0.5                        32768
10.0.0.15/32   10.50.0.4  IBgp      10.50.0.4                        32768
10.0.0.0/16    10.0.0.15  EBgp      10.0.0.15     65515              32768
10.0.0.0/16    10.50.0.4  IBgp      10.50.0.4     65515              32768
10.0.0.0/16    10.0.0.14  EBgp      10.0.0.14     65515              32768
10.20.10.0/24  10.0.0.14  EBgp      10.0.0.14     65515-12076-65150  32768
10.20.10.0/24  10.0.0.15  EBgp      10.0.0.15     65515-12076-65150  32768
10.20.10.0/24  10.50.0.4  IBgp      10.50.0.4     65515-12076-65150  32768
10.50.0.0/16              Network   10.50.0.4                        32768
10.0.0.14/32              Network   10.50.0.4                        32768
10.0.0.14/32   10.50.0.5  IBgp      10.50.0.5                        32768
10.0.0.15/32              Network   10.50.0.4                        32768
10.0.0.15/32   10.50.0.5  IBgp      10.50.0.5                        32768
10.0.0.0/16    10.0.0.15  EBgp      10.0.0.15     65515              32768
10.0.0.0/16    10.50.0.5  IBgp      10.50.0.5     65515              32768
10.0.0.0/16    10.0.0.14  EBgp      10.0.0.14     65515              32768
10.20.10.0/24  10.0.0.14  EBgp      10.0.0.14     65515-12076-65150  32768
10.20.10.0/24  10.0.0.15  EBgp      10.0.0.15     65515-12076-65150  32768
10.20.10.0/24  10.50.0.5  IBgp      10.50.0.5     65515-12076-65150  32768

</code></pre></div><h1 id="%E7%96%8E%E9%80%9A%E7%A2%BA%E8%AA%8D">
<a class="header-anchor-link" href="#%E7%96%8E%E9%80%9A%E7%A2%BA%E8%AA%8D" aria-hidden="true"></a> 疎通確認</h1>
<p>今までの構成を行ったうえでオンプレミスから例によって確認くん<sup class="footnote-ref"><a href="#fn-7e01-4" id="fnref-7e01-4">[4]</a></sup>にアクセスしてみます。すると、SNAT されて Azure Firewall の PIP でアクセスしていることが分かります。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--KSDVw3wY--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/247f51b8fbeb8d512ed14ee6.png%3Fsha%3D8e3332cf58afffd5fadfab209c79259a75ca9fea" loading="lazy" class="md-img"><br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--ya5rm74Z--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/939decb7a309466ac45eb2bf.png%3Fsha%3Dfa0b9af1de49642acee43a2d9d49453ca0de67f7" loading="lazy" class="md-img"></p>
<h1 id="%E3%81%BE%E3%81%A8%E3%82%81">
<a class="header-anchor-link" href="#%E3%81%BE%E3%81%A8%E3%82%81" aria-hidden="true"></a> まとめ</h1>
<ul>
<li>BGP を話せる NVA を用意して ARS とピアを張り、デフォルトルートの広報 + NEXT_HOP属性の追加しました。</li>
<li>この構成により外部アクセスに Azure Firewall を経由させる構成が取れることを確認しました。</li>
</ul>
<section class="footnotes">
<span class="footnotes-title">脚注</span>
<ol class="footnotes-list">
<li id="fn-7e01-1" class="footnote-item">
<p><a href="https://qiita.com/advent-calendar/2023/microsoft-azure-tech" target="_blank" rel="nofollow noopener noreferrer">https://qiita.com/advent-calendar/2023/microsoft-azure-tech</a> <a href="#fnref-7e01-1" class="footnote-backref">↩︎</a></p>
</li>
<li id="fn-7e01-2" class="footnote-item">
<p><a href="https://zenn.dev/microsoft/articles/azure-route-server-frrouting#nva-%E3%81%AE%E4%BD%9C%E6%88%90" target="_blank">https://zenn.dev/microsoft/articles/azure-route-server-frrouting#nva-の作成</a> <a href="#fnref-7e01-2" class="footnote-backref">↩︎</a></p>
</li>
<li id="fn-7e01-3" class="footnote-item">
<p><a href="https://blog.aimless.jp/archives/2022/07/create-default-route-to-firewall-with-route-server-nexthop/" target="_blank" rel="nofollow noopener noreferrer">https://blog.aimless.jp/archives/2022/07/create-default-route-to-firewall-with-route-server-nexthop/</a> <a href="#fnref-7e01-3" class="footnote-backref">↩︎</a></p>
</li>
<li id="fn-7e01-4" class="footnote-item">
<p><a href="https://www.ugtop.com/spill.shtml" target="_blank" rel="nofollow noopener noreferrer">https://www.ugtop.com/spill.shtml</a> <a href="#fnref-7e01-4" class="footnote-backref">↩︎</a></p>
</li>
</ol>
</section>


Azure Route Server を利用してオンプレミス拠点のデフォルトルートを Azure Firewall に向ける

FRRouting が受け取っている経路の確認

NVA から デフォルトルートを広報

blog-tech

Discussion