💊

手のひらネットワーク機器で真面目に設計する

2023/07/18に公開

はじめに

手のひらネットワーク機器いいですね。
ネットワークエンジニアにしか受けないニッチすぎる製品かと思いきや売り切れ続出で再販決定とは…

手のひらネットワーク機器を使って現実的な構成を組んでみたらどうなるのか?という絵空事をやって遊んでみます。
各メーカーの担当者さんとカプセルトイの担当者さんの想いを感じていきましょう。


結果的にはこんな感じになったのですが、こうなるまでの経緯を説明していきます。

ラインナップ

まずはラインナップの確認から

A10【Thunder 7655S】

大規模なサーバー攻撃を防御するセキュリティ機能や、高速なアプリケーション配信機能を実現する「アプリケーションサービスゲートウェイ」。  (カプセルトイの付属説明書より引用)

A10といえばロードバランサ。F5 Networks社のBIG-IPの競合として十数年~20年くらい前にA10シリーズを売り出した会社ですね。
「アプリケーションサービスゲートウェイ」とは名乗っているのですが、まずはロードバランサと思って構成と配線を設計すればいいのかな?

インターフェイス関連の諸元を見ていきましょう。

https://www.a10networks.co.jp/download/files/A10_Thunder_Placemat.pdf
インターフェイスはQSFP28が16個。
QSFP28は100 Gbps用の規格らしいです。
(業務ポートは)100 Gbpsポートが16個だけってやっぱり攻めてますよね。おいくら万円なんだろう?

ってか型番の数値が一番大きいし、カタログの一番右下に乗ってるし、これフラグシップ機では?
A10さん、なかなか攻めてきますね。

次にカプセルトイと本物の写真を見比べてみます。

上:カプセルトイ、下:実機公式資料

カプセルトイA10の前面の印刷を見ると、16ポートのうち、左側8ポートは印刷されていて、右側8ポート分のところに付属品のケーブルを差し込む穴が4個空いています。
カプセルトイ自体は1/12サイズですが、さすがにQSFP28のサイズも1/12にするわけにはいかないということですね。QSFPのサイズはだいたい 1.8 cm x 1 cm くらいです。そのまま縮小すると 0.7 mm x 1.5 mmくらいになるのでさすがに小さすぎて無理ですね。(これから別筐体の説明で登場するRJ45はさらに小さいし)

設計するにあたり、このカプセルトイA10のインターフェイスはQSFP28 x 4ポートと仮定することにしましょう。

HW Interface 個数
A10 QSFP28 4

なお、このあとインターフェイス規格が何種類か出てくるのでざっと紹介しておきます。

規格 最大速度 サイズ
RJ45 10 Gbps 7mm x 12mm
SFP 1 Gbps 8.5mm x 13.4mm
SFP+ 10 Gbps 同上
SFP28 25 Gbps 同上
QSFP+ 40 Gbps 8.5mm x 18.35mm
QSFP28 100 Gbps 同上

CISCO【C9300-48UXM】

コンピュータやアクセスポイント、サーバなどを接続し、ネットワーク上でデータのやりとりを可能にするネットワークスイッチ。  (カプセルトイの付属説明書より引用)

こちらは一般的なL3スイッチですね。他の機種がカテゴリ名を括弧でくくっているのに対し、C9300だけは「ネットワークスイッチ」という表記にはなっていません。各社製品の持っている機能を前面に押し出しているところ、「このカプセルトイ買う客層でネットワークスイッチを知らんやつはおらんだろう」という意思を感じます。

自分がL3スイッチを使っていたのはCatalyst3750とかCatalyst3650とかが多かったのですが、Catalyst9300はその後継と考えてよさそうです。
フラグシップを持ってきたA10に対して、Ciscoは親近感のある機械を持ってくるというあたり、各メーカーの担当者さんそれぞれの想いが伝わってきます。

製品資料はこちらを見ました。
https://www.cisco.com/c/ja_jp/products/collateral/switches/catalyst-9300-series-switches/nb-06-cat9300-ser-data-sheet-cte-en.html
https://jpn.nec.com/datanet/cisco/product/pdf/cisco_catalyst9300_leaflet.pdf

C9300-48UXMという型番に特徴が埋め込まれています。

  • 「48」は(基本の)ポート数が48ポート
  • 「U」はUPoE対応
  • 「X」は2.5 GE mGig対応
  • 「M」は10 GE mGig対応

C9300-48UXMは若干特殊なポート構成のスイッチで48ポートは

  • 2.5G/1G/100M 対応のポートが36個
  • 10G/5G/2.5G/1G/100M 対応のポートが12個
    という構成です。

上:カプセルトイ、下:実機公式資料

カプセルトイの方を見てみると、48ポートのうち、左側36ポートは印刷済み、右側12ポートに相当する箇所に穴が3個空いています。

さて、この3つの穴は2.5Gと解釈すべきでしょうか? 10Gと解釈すべきでしょうか?
調べていたところ、以下のマニュアルを見つけました。

https://www.cisco.com/c/ja_jp/td/docs/switches/lan/catalyst9300/hardware/install/b_c9300_hig/m-9300-product-overview.html


「100 M/1000 M/2.5 GEポート 1 〜 36 および 100 M/1000 M/2.5 GE/5 GE/10 GE ポート 37 〜 48」とのこと。
向かって左側がポート1なのでカプセルトイで穴が開いている箇所は37 〜 48と解釈すべきですね。つまり25GbpsのSFP28です。

設計するにあたり、このカプセルトイC9300のインターフェイスはRJ45(10GBASE-T) x 3ポートと仮定することにしましょう。

HW Interface 個数
C9300 RJ45 (10G) 3

ちなみになんですが、カプセルトイの印刷をよく見ると筐体全面右側のネットワークモジュール部になにか印刷されてますね。

C9300(とその上位機種のC9300X)はモジュール式の機種で、デフォルトでは右側のスロットはブランクパネルがはまっているだけですが下記のように着脱式のネットワークモジュールでポートを増やせます。

Ciscoの製品ページの絵と見比べると真ん中のやつが一番似てますね。

このネットワークモジュールはC9300-NM-2Qですね。先述べた48ポートの他、40Gポートが2個ついています(印刷だけど)。
ここのファクターはQSFP+なので、A10のQSFP28と簡単に繋げられそうなんですけどねぇ。

CISCO Meraki【MX85】

ネットワーク上の通信を監視し、不正なアクセスや攻撃を検知して防御する「クラウド管理型セキュリティ&SD-WANアプライアンス」。  (カプセルトイの付属説明書より引用)

Merakiはクラウド管理無線APの製品として有名ですね。10年くらい前にCisco傘下に入りました。
製品群の詳しいラインナップは知らなかったのですが、MXシリーズは無線APではなくて、(説明書にあるように)セキュリティアプライアンスだそうです。

https://meraki.cisco.com/ja-jp/product/security-sd-wan/medium-branch/mx85/

諸元をみてみると

WAN: two GbE SFP, two GbE RJ45 (one PoE), one USB (cellular failover)
LAN: eight GbE RJ45, two GbE SFP
1 Gbps firewall throughput
500 Mbps site-to-site VPN throughput
Supports up to 250 users

「firewall throughput」とか「VPN throughput」とかを謡っているのでファイアウォールとかVPN製品ととらえればよいのかな?
センター側ではなくて中小規模の拠点側に置く装置ですね。

上:カプセルトイ、下:実機公式資料

カプセルトイの印刷と実機を比べると、「eight GbE RJ45, two GbE SFP」のところに穴が3つ開いていますね。

設計するにあたり、このカプセルトイMerakiのインターフェイスはRJ45(1000BASE-T) x 2ポート+SFP x 1ポートと仮定することにしましょう。

HW Interface 個数
Meraki RJ45 (1G) 左2
SFP 右1

古河電工【FITELnet FX2】

LANやWANなどの通信回線を接続し、高速かつ大容量のデータ通信を実現する「マルチサービスルータ」。  (カプセルトイの付属説明書より引用)

国産メーカ出てきました。CiscoとJuniperが幅を利かせるルータ界でお世辞にもシェアは大きいとは言えないですが、結構昔からルータを作っている印象があります。

https://www.furukawa.co.jp/fitelnet/product/fx2/

製品紹介見てみたのですが、24ポートあるし、IPSec張れそうだし、C9300とかMerakiとかともある程度オーバーラップしてますね。
とはいえルータ機能とセキュリティ機能でInternet、WANの接続点に配置しつつ、24ポートのスイッチポートでコアスイッチ的な役回りもできる、といったマルチな活躍ができそう。

インターフェイスはこんな感じです。

1G/10G/25G Multi rate(SFP/SFP+) x 24
(25GBASE-SR、25GBASE-LR、
 10GBASE-SR、10GBASE-LR、10GBASE-T、
 1000BASE-SX、1000BASE-LX
 10/100/1000BASE-T)
40G/100G Multi rate(QSFP)x 4
(100GBASE-SR4、100GBASE-LR4、
 100GBASE-CWDM4、
 40GBASE-SR4、40GBASE-LR4)

上:カプセルトイ、下:実機公式資料

カプセルトイを見てみると「25Gbps x 8」のところに穴が2つ、「QSFP28(100Gbps) x 2」のところに穴が1つです。

設計するにあたり、このカプセルトイFITELnetのインターフェイスはSFP28 x 2ポート+QSFP28 x 1ポートと仮定することにしましょう。
(仕様詳細には「SFP/SFP+」とか「QSFP」と書いてありますが25Gbps、100Gbpsに対応しているし、同ページの外観のところには「SFP/SFP+/SFP28」、「QSFP+/QSFP28」と書いてあります)

HW Interface 個数
FITELnet SFP28 左2
QSFP28 右1

接続可能な機器、ポート

仕様の確認

インターフェイスの物理的な形状と、お互いに接続可能かを考えます。
物理形状にはRJ45(家庭内で一番使われているであろう、一般的に「LANポート」といって思いつくアレ)であってもケーブル内部の物理配線とかNW機器内での規格としては10 Mbps(10BASE-T), 100 Mbps(100BASE-TX), 1 Gbps(1000BASE-T)の違いがあったり、SFP+といってもLC-LCモジュールを差して光ファイバで10 Gbpsで動作させることも、RJ45モジュールを差して銅線で10 Gbpsで動かすことも、DAC(Direct Attached Cable)というモジュール一体型の銅線があったりとだいぶややこしいのですが、相互接続性は以下のような感じになります。メーカとして「この機種のこのポートはこの通信速度をサポートしていない」というのもあると思いますが、いったん忘れます。

インターフェイス規格同士の接続性

規格 RJ45 SFP SFP+ SFP28 QSFP+ QSFP28
RJ45 10 1 10 10 × ×
SFP 1 1 1 1 × ×
SFP+ 10 1 10 10 ※1 ※1
SFP28 10 1 10 25 × ※1
QSFP+ × × ※1 × 40 ※2
QSFP28 × × ※1 ※1 ※2 100

数値は最高速度(Gbps)、×は接続不可

※1: 4分岐ケーブルを使えば接続可能(以下のように片側が4分岐しているネットワークケーブルがこの世には存在します。当然ながら?手のひらネットワーク機器にはそんなケーブルは付属しませんので、今回は「×」と同じ意味と思ってもらっていいです)
━━━━━━━┓
━━━━━━━┫
━━━━━━━╋━━━━━━━━━━━━━━━━━━━━━━━━
━━━━━━━┛
※2: QSFP28(100Gbps)スロットにQSFP+(40Gbps)モジュールを指して動作するかどうかはNW機器によるかも。今回のカプセルトイラインナップにはQSFP+に相当する箇所に穴が開いている機種はないので忘れましょう。

手のひらネットワーク機器の相互接続性

さて、カプセルトイが持っているインターフェイスの数とそれが実機でいうとどんな規格に相当する位置に空いているのか、また各規格同士の接続性が分かったので、どことどこをつないでもいいのかが分かります。

HW Interface 個数 A10 QSFP28 C9300 RJ45 (10G) Meraki RJ45 (1G) Meraki SFP FITELnet SFP28 FITELnet QSFP28
A10 QSFP28 4 100 × × × × 100
C9300 RJ45 (10G) 3 × 10 1 1 10 ×
Meraki RJ45 (1G) 左2 × 1 1 1 1 ×
SFP 右1 × 1 1 1 1 ×
FITELnet SFP28 左2 × 10 1 1 25 ×
QSFP28 右1 100 × × × × 100

A10のインターフェイスがやはり他と比べて高速すぎますね。
ロードバランサを収容するならコアL3か、もしくはファイアウォールかだと思うのですが、C9300、Merakiには接続できません。FITELnetに収容するしかないですね。
FITELnetの100 Gbpsは1個だけなので、100 Gbpsが4個あるA10のポートは使い切れずに残りそうです。

アップリンクがFITELnetに接続されるとして、サーバ収容をL2、L3スイッチを使わずにA10に直接収容し、インターリンクをA10間に通すことである程度インターフェイスを効率よく収容できそうです。

A10以外のNW機器は比較的に自由に接続できそうです。
ただ、Merakiのインターフェイスが1 Gbpsしかないので、手持ちの機器だと全トラフィックがMerakiを通るようなシステムは作れないですね(作れないことはないけど帯域差がありすぎてイメージがつかない)。

メインのトラフィックはインターネットからFITELnetで受けて、他システム接続用にMerakiを経由させる、もしくは管理・監視用回線をMerakiに収容するといった形が自然です。

サーバ収容をA10で、対外接続をFITELnetとMerakiで行うとすると、L3スイッチC9300の用途に悩みます。

今回の4種のラインナップの中でおそらくユーザが一番多いのはC9300なんですが、どうしましょうか。

A10とFITELnetを接続することでFITELnetがシステムのコアスイッチ的な役割を果たすことになるので、あとは対外接続部にL2,L3スイッチを配置しておくと、後で何かと潰しがきくという経験則で、C9300を入れるのがいいかなと。

物理構成図は以下のようになりました。
(あっさり書いていますが、カプセルトイ4種2個ずつに付属するケーブル本数は16本で、この本数を超えることはできないし、極力使い切るようにしようと思っていろいろパズルしました)

論理構成図はこちら。
カプセルトイ遊ぶ限りはIPアドレスは考えなくていいけど、やっぱIPアドレス付けて遊びたいですよね!

ラック高さ

今度はどのようにラックマウントするかを考えていきます。

ラックは一般的にフルラックとハーフラックがあります。
フルラックはたいてい 4.5 cm x 40 U = 180 cm
ハーフラックはその半分で 4.5 cm x 20 U = 90 cm

データセンタに行くとハーフラックはほとんど見たことはなくてフルラックばかりです(↓こんなやつ)。

個人的はフルラックが使い慣れてるんですが、手のひらネットワーク機器4種でハーフラック1架分です。
カプセル8個分でフルラック1架作れますが、付属品にラック間配線を意識しているであろう長いケーブルが含まれています。これは冗長化する場合にはハーフラックを2架並べてほしいという企画者の考えがあるのかと思い、ハーフラック2架で行こうかと思います。

ラック配線

ケーブルは本来であればラック搭載図を作成した後で必要本数、長さを計算するのですが、カプセルトイでは付属のケーブルが決まっています。

4種類を2個ずつ用意した場合、付属するLANケーブルは以下の通りです。

カプセルトイケーブル長 実機の場合の長さ(12倍) 本数
38 mm 45 cm 8
102 mm 120 cm 6
242 mm 290 cm 2

ラック間配線する場合、普通は黄色の線のようにラック#1を向かって左に整線するならラック#2も左に整線することが多いですが、手のひらネットワーク機器はラックをぴったり隣り合わせに並べた場合、付属のケーブルガイドは干渉するので取り付けられません。
赤色の両脇から挟んでいく配置にします。

必要なケーブル長を計算します。図中の数値は実物の場合の長さ(cm)です。ラック間配線する機器の床からの高さを x (cm)とすると、290 cm のケーブルで配線可能な高さは次の式を満たす x です。

( 5 + 48 + 5 ) + ( 5 + 48 + 48 + 5 ) + 2 ( x + 15) = 290

x = 48 (cm)であり、ラック 1Uの高さは4.5 cm なので、48 ÷ 4.5 = 10.6 となり、このケーブルを使って隣接ラックに床下経由で配線できるマウント高さは10Uが限界(頑張れば11Uにギリ届くかどうか?)です。

というようなことを考えつつ、手持ちのケーブル長さと本数、物理構成図をもとにラック搭載図を考えました。ラック間配線しているのは9UのC9300と3UのA10です。


※A10は1.5Uですが、使ったツール(rackdiag)の仕様で1.5Uを表現できなかったので図中では2Uになっています。

写真

A10【Thunder 7655S】

CISCO【C9300-48UXM】

CISCO Meraki【MX85】

古河電工【FITELnet FX2】

ラック前面

ラック背面

最後に手のひらネットワークを組み立てながらそこまで再現しなくてもと思ったこと。

  • まずは梱包(カプセル)を開けたら付属品がそろっているかの確認
  • ケーブルをポートに指すときに指先と爪先が痛い
  • ケーブルの長さが足りなくて頭を抱える
  • ケーブルの数が足りなくて頭を抱える
  • NW機器を前面から引き出そうとしたらさっき配線したLANケーブルに干渉してる
  • ちょっとイライラしてくるとケーブルを強めに引っ張ってしまう

Discussion