Cloud Interconnect 設計完全ガイド
はじめに
記事の目的
こんにちは、クラウドエース SRE部 に所属している
僕は Security&Networking カテゴリで Google Cloud Partner Top Engineer をいただけたこともあり、社内外からネットワークに関する幅広い相談を受ける機会が増えています。
その中でも、システム要件として「大容量通信が発生するため広帯域を確保したい」というケースがあります。
通常は Cloud Interconnect を採用することで、従来のインターネット接続と比較して低遅延/高帯域幅/高可用性が担保された閉域網接続を行います。
しかし、いざ設計や構築をする際に必要なわかりやすく整理された情報が十分には提供されていないように感じられることがあります。
そこで、本記事では「Cloud Interconnect 設計完全ガイド」と称して、設計ポイントや注意ポイントをまとめます。
ターゲットとなる読者層
- Cloud Interconnect を設計・運用・計画している方
- Partner Interconnect
- Dedicated Interconnect
- Cross-Cloud Interconnect
- BGP と周辺技術の知識を有する方
記事のゴール
- 設計ポイント / 注意ポイントを理解する
- 設計すべき情報の整理
- ベストプラクティス
やること・やらないこと
本記事で紹介するスコープは以下のとおりです。
| 観点 | スコープ | 備考 |
|---|---|---|
| 推奨設計 | ✅ | 別記事と一部重複する場合があります |
| 注意事項 | ✅ | 別記事と一部重複する場合があります |
| 制限事項 | ✅ | 別記事と一部重複する場合があります |
| ベストプラクティス解説 | ✅ | 別記事と一部重複する場合があります |
| 実際の接続 | 🚫 | |
| 構築手順 | 🚫 |
ポイント
原則として、本番環境では以下のポイントを押さえることが推奨されます。
各 Step で 1 つずつみていきましょう。
- マルチリージョンによる高可用性の担保ができているか？
- 適切な容量設計と拡張性の考慮ができているか？
- パフォーマンス チューニングができているか？
- ルーティングのチューニングができているか？
- セキュリティの考慮と許容がなされているか？
Step1 高可用性の担保
相互接続の可用性を高めるためには、SLA 99.99% が適用される冗長構成を採用することを強く推奨します。
とくに、日本では災害等が発生しやすく、単一リージョンに限定された運用はリスクがあります。
東京・大阪双方で相互接続をホストし、高可用性を実現しましょう。
下記の図では、それぞれ適用される SLA が異なり、コストを取るのかリスク軽減を取るのかで分岐します
| SLA 99.9% | SLA 99.99% |
|---|---|
 |
 |
Step2 拡張性の考慮
十分な帯域容量を確保する
新規に設計・構築する場合は、トラフィックを慎重に試算し、十分な余裕を持った帯域幅を設定しましょう。
万が一、試算を誤り実際の通信に対して容量が不足する場合、一部の通信がドロップする恐れがあるためです。
既存の VLAN アタッチメントの帯域容量を増幅することも可能です。
ただし、この操作には1分未満のダウンタイムが伴うため、注意が必要です。
帯域容量の増幅手順については、以下の別記事を参照してください。
均衡な容量を設定する
帯域容量を変更する場合や、新規に構築する場合は、均衡な容量を持つ Interconnect 回線のペアを構成することを推奨します。
これは、障害等によるダウンが発生し副系の回線にフェイルオーバーした際に、容量不足による輻輳とパケットロスを回避するためです。
例えば、正系の帯域を 10Gbps ➜ 20Gbps に増幅した場合、フェイルオーバー時に副系も増幅していないと、帯域超過によるパケットロスや輻輳といったさらなる障害を招きかねません。
帯域を増幅する際は必ず正副共に均衡な容量を設定しましょう。
VLANアタッチメント のクォータに留意する
クォータとして、VLAN アタッチメントの帯域幅の合計容量が各リージョン毎に設定されています。
不足していると VLAN アタッチメントを作成することができず、リクエストはエラーとなります。
ソフトリミットのクォータですので、Cloud Console より緩和申請を事前に行ってください。
| クォータ | 容量 50 Gbps | 容量 50 Gbps + 容量 50 Gbps |
容量 150 Gbps |
|---|---|---|---|
| 50 Gbps | ✅ | 🚫 | 🚫 |
| 100 Gbps | ✅ | ✅ | 🚫 |
| 150 Gbps | ✅ | ✅ | ✅ |
Cloud Router のクォータに留意する
クォータとして、Cloud Router の合計上限数と VPC との接続上限数が各リージョン毎に設定されています。
Cloud Router は Cloud NAT や Cloud VPN 等でも構成要素の1つとして利用されています。
そのため、想定外のクォータ超過に注意してください。
不足していると Cloud Router を作成することができず、リクエストはエラーとなります。
ユーザでは操作できないクォータであり、上限緩和申請には Google Cloud サポートへの問い合わせが必要です。
Step3 パフォーマンス チューニング
MTU チューニング
VLAN アタッチメント（以降 VLAN と表記）・VPC・Subnet・GCE はそれぞれジャンボフレームに対応しています。
そのため、接続先と双方で MTU を最大 8896 bytes まで引き上げ、効率的な大容量通信を実現できます。
| MTU | VLAN | VPC | Subnet | GCE |
|---|---|---|---|---|
| 1440 | ✅ (default) |
✅ | ✅ | ✅ |
| 1460 | ✅ | ✅ (default) |
✅ | ✅ |
| 1500 | ✅ | ✅ (default) |
✅ | ✅ |
| 8896 | ✅ | ✅ (default) |
✅ | ✅ |
注意ポイントとして、VLAN・VPC・Subnet・GCE はそれぞれデフォルトの MTU が異なるため、「デフォルトのままでよい」となった場合でも適切に設計しましょう。
また、Windows OS を GCE で利用する場合、Windows OS 上で手動変更が必要になりますのでご注意ください。
Step4 ルーティング チューニング
上記に示した推奨構成を採用した場合も含め、複数の Interconnect 回線を敷設した場合、ルーティング設計を適切に行う必要があります。
- 上りと下りの通信を対称ルーティングにする
- 優先経路・優先回線を定義する
詳細については、以下の別記事を参照してください。
Step5 安全な接続の実現
MD5認証
双方事前に決められた MD5 パスワードを用いて認証をすることで、認証に成功した相手同士に限定した安全な BGP セッションを構成することができます。
これにより、Cloud Router とオンプレミス ルータ間の接続の安全性が高まります。
Cloud Interconnect を介した HA VPN
よくある誤解として、Cloud Interconnect 単体では通信を暗号化することはできません。
業界規制やコンプライアンス要件が厳しい場合、トラフィックを IPsec で暗号化した安全な通信を行うことで対応することができます。
Cloud Interconnect を介した HA VPN では、Cloud VPN による IPsec 暗号化の利点を生かしながら、閉域網で帯域容量の大きい Cloud Interconnect を利用することができます。
MACsec
公式ドキュメントより引用
MACsec を利用すれば、Google エッジルータとオンプレミスルータの間のトラフィックを暗号化することができます。
注意すべきポイントとして、MACsec は、Google 内のトラフィックで暗号化を行いません。
トラフィックを安全に転送するためには、上述の IPsec や TLS と併用することを推奨します。
Appendix：共有 VPCとの併用
Cloud Interconnect をホストプロジェクトに構築し、それを共有VPC に接続することで、共通のネットワーク基盤として利用することができます。
ホストプロジェクトはもちろんのこと、各サービスプロジェクトとも共有することができ、管理コストや個別の構築コストを削減することが可能です。
このとき、Cloud Interconnect / VLANアタッチメント / Cloud Router が必要なのはホストプロジェクトのみです。
ただし、消費する帯域容量は合計されるため注意してください。
ベストプラクティス
-
十分な帯域容量を確保する
- 回線を通過するトラフィック容量を精緻に試算しておくこと
- 想定よりも十分に余裕を持った容量を確保すること
-
リージョン内で高可用性の構成を採用する
- 正副系かつ Active/Active な構成を採用すること
-
高可用性の構成を採用する
- ある程度のダウンタイムを許容できるミッション クリティカルでない場合は、SLA 99.9% の可用性が推奨
- ダウンタイムに対する許容度が低いミッション クリティカルな場合は、SLA 99.99% の可用性が推奨
-
均衡な容量を確保する
- 正副含め全ての回線で均衡な容量を確保しフェイルオーバーに備えること
-
機密情報等のセキュリティ対応は別途考慮すること
- 個人情報や業界規制がある場合、別途暗号化施策を検討すること
まとめ
Cloud Interconnect を設計する際には、上記のベストプラクティスや注意事項を考慮に入れることで、基本的なポイントを押さえることができます。
この設計ガイドが一助となれば幸いです。
Special Thanks
本記事は、クラウドエース新卒社員 Nomachi 🍑さんに執筆協力をお願いしました。
弊社は新卒社員からリードエンジニアまでメンバー全員が Google Cloud のプロフェッショナル集団という高い意識でお客様のビジネスに貢献いたします。
Discussion