🐙

SSH に VPN 箱なんてジャマ ... 2018 - 2024

2024/11/04に公開

Cloudflare

SSH

VPN

tech

はじめに

グローバル IP アドレスを持たないサーバーへの Clodflare を介した SSH 接続について新しい方法（Access for Infrastructure）が出てました。従来の方法含め、Free Plan で利用でできる機能を書いておきます。

... 2018 年、それは自分たちのために作られた。

However, SSH connections held us back. Whenever we needed to push code or review a pull request, we had to fall back to our cumbersome VPN.

やんちゃだな...

	方法	クライアント側環境	SSH 接続先	サーバー側環境	SSH プロキシー	証明書認証対応と Cloudflare SSH CA API	Blog
1	クライアントサイド cloudflared	cloudflared access	公開ホスト名 🍊	cloudflared tunnel （Public Hostname）	なし透過	Short-lived certificate CA access/apps/ca	Announcing SSH Access through Cloudflare 2018 Public keys are not enough for SSH security 2019
2	WARP-to-Tunnel	WARP	プライベートIP or プライベートホスト名	cloudflared tunnel （Private Network）	なし透過	なし	Building many private virtual networks through Cloudflare Zero Trust 2022
3	WARP-to-Tunnel + SSH プロキシーとコマンドログ	WARP	プライベートIP or プライベートホスト名	cloudflared tunnel （Private Network）	あり MITM	Gateway SSH proxy CA access/gateway_ca	Introducing SSH command logging 2022
4 NEW 推奨	WARP-to-Tunnel + Access for インフラストラクチャ	WARP	プライベートIP or プライベートホスト名	cloudflared tunnel （Private Network）	あり MITM	Gateway SSH proxy CA access/gateway_ca	Fearless SSH: short-lived certificates bring Zero Trust to infrastructure 2024

Notes

1, 2 は SSH クライアントとサーバーが直接接続、3, 4 は Cloudflare を介して接続
1, 2 から 3, 4 に移行する場合は、サーバーのホストキーが変わる（初回のみ）
3, 4 はクライアントに SSH 認証を求めない（WARP で組織にログインすればよく、クライアント側の鍵管理から開放）
1（の証明書認証）, 3 は Access（WARP）ログインのユーザー名を元に証明書が作成されるため、それと SSH のユーザー名が合致するようにするのが基本
4 は SSH ログインユーザー名を元に証明書が作成されるのでそこを気にする必要はなく、また、Cloudlare 側で SSH ユーザー名を参照しログインを制限する機能を提供
2 - 4 でプライベートホスト名で接続する場合は、名前解決ができるよう準備
これからは 4 が推奨 SSH with Access for Infrastructure (recommended)
4 は 1 と 3 のイイとこ取りといった感じ

1. クライアントサイド cloudflared

👉️ Blog

SSH を HTTPS にラップし、Public Hostname 経由で繋ぎます。

Cloudflare は SSH をプロキシーしないので、SSH クライアントとサーバーの直接接続になります。

クライアント側は cloudflared access を利用します。
パブリックホストに Cloudflare Access (Self-hosted）を追加し、SSH サーバーの前で HTTP で認証・認可をかけます（かけるのが推奨）。

SSH サーバーで証明書での認証を有効にすれば、Access の認証を SSH サーバーのログインに利用し、運用の簡素化とセキュリティの強化、ユーザービリティの向上が見込めます。
Cloudflare SSH CA が一時的なユーザー証明書を作成しクライアントに利用させます。

接続例

SSH クライアント

証明書認証の場合。

$ cat .ssh/config
Match host remote.example.com exec "/opt/homebrew/bin/cloudflared access ssh-gen --hostname %h"
  ProxyCommand /opt/homebrew/bin/cloudflared access ssh --hostname %h
  IdentityFile ~/.cloudflared/%h-cf_key
  CertificateFile ~/.cloudflared/%h-cf_key-cert.pub

$ ssh ubuntu@remote.example.com
A browser window should have opened at the following URL:

https://remote.example.com/cdn-cgi/access/cli?...

If the browser failed to open, please visit the URL above directly in your browser.

ブラウザが開かれ、Access 認証に進む。

認証・認可が完了すると、ログインできる。

Welcome to Ubuntu 22.04.5 LTS (GNU/Linux 6.5.0-1023-oracle x86_64)

Access から渡された JWT や SSH 鍵、証明書は ~/.cloudflared に保存。

$ ls .cloudflared/
remote.example.com-cf_key
remote.example.com-cf_key.pub
remote.example.com-cf_key-cert.pub
remote.example.com-xxx-token
<team>.cloudflareaccess.com-org-token

SSH サーバー

接続元の IP アドレスは cloudflared tunnel 稼働マシン。

Accepted publickey for ubuntu from 172.16.0.147 port 35314 ssh2: ECDSA-CERT SHA256:I... ID 1... (serial 4...) CA ECDSA SHA256:f...

Cloudflare

SSH CA の設定箇所

Access > Service auth > SSH

👉️ API endpoint

ブラウザーでの SSH

Public Hostname に対するブラウザーでの SSH 接続も可能。

Access > Applications > Settings

2. WARP-to-Tunnel

👉️ Blog

WARP-to-Tunnel で Private Network 上の SSH サーバーに接続します。
WARP デバイスに SSH サーバーのローカルネットワークへの接続性を提供します。
クライアントサイド cloudflared の 1 対 1 設計に比べ、スケールできる利点があります。

Cloudflare は SSH をプロキシーしないので、SSH クライアントとサーバーの直接接続になります。

Gateway の Firewall Policy（Network）で接続を制御することができます。
SSH 接続に対する Access による認証認可はありません。

接続例

SSH クライアント

C:\Users\K> ssh -i .ssh/key ubuntu@172.16.0.147
Welcome to Ubuntu 22.04.4 LTS (GNU/Linux 6.5.0-1019-oracle x86_64)

SSH サーバー

Accepted publickey for ubuntu from 172.16.0.147 port 42494 ssh2: RSA SHA256:W...

Cloudflare

宛先 SSH サーバー IP/Port を Allow。（設定しなくても、暗黙の許可あり）
Gateway > Firewall policies > Network

Logs > Gateway > Network

3. WARP-to-Tunnel + SSH プロキシーとコマンドログ

👉️ Blog

Gateway で SSH をプロキシーし認証運用を簡素化、また、コマンドログを取り監査を強化することができます。

宛先 SSH サーバーはパブリック・プライベートどちらのアドレスでもいいです。
プライベートに接続する場合は WARP-to-Tunnel を利用します。

SSH クライアント

既存環境に追加実装されると Cloudflare が SSH をプロキシーするので、鍵が変わる（初回のみ）。

C:\Users\K>ssh aduser1@172.16.0.147
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@    WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!     @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!
Someone could be eavesdropping on you right now (man-in-the-middle attack)!
It is also possible that a host key has just been changed.

Remove し、再接続。

C:\Users\K>ssh-keygen -R 172.16.0.147
# Host 172.16.0.147 found: line 16

SSH 認証要求されず接続が可能。

C:\Users\K>ssh -v aduser1@172.16.0.147 whoami 2>&1 |findstr Authenticated
Authenticated to 172.16.0.147 ([172.16.0.147]:22) using "none".

Cloudflare

Gateway Firewall Policy Network で Audit SSH のルールを追加。

Gateway > Firewall policies > Network

Port は 22 決め打ちのため、指定しない。指定すると Audit SSH が選べなくなる。

Logs > Gateway > Network

Network のログは一行にまとまる。

（Allow のポリシー名で、Action が ALLOW から AUDIT SSH に上書きされる）

SSH CA の設定箇所

👉️ API Endpoint

クライアントサイド cloudflared の場合と違う。

SSH コマンドログ

SSH コマンドログを取り出す。

Logs > Gateway > SSH
右端の Download

暗号化されたファイルをダウンロードして複合すると、その SSH セッションが丸裸。

$ ./ssh-log-cli decrypt -i $LOGFILE -k ssh_log_enc_key

$ unzip $LOGFILE-decrypted.zip
 extracting: term_data.txt
 extracting: term_times.txt

$ cat term_data.txt
Session started on 2024-11-02 08:14:03+00 [TERM="unknown" COLUMNS="126" LINES="30"]
Welcome to Ubuntu 22.04.4 LTS (GNU/Linux 6.5.0-1019-oracle x86_64)
:
:
aduser1@sv01:~$ cat /var/log/auth.log
cat: /var/log/auth.log: Permission denied
aduser1@sv01:~$ 
:
:
Script done on 2024-11-02 08:14:28+00 [COMMAND_EXIT_CODE="1"]

4. WARP-to-Tunnel + Access for インフラストラクチャ

👉️ Blog

Access for Infrastructure は SSH 含めた Non HTTP アプリの新しい接続方法。今後はコレに置き換わっていくと思います。
2024年11月時点では SSH のみのサポート。

SSH では Access ポリシーによる制御の他に、SSH コマンドログを取ることもできます。

手順にしたがって作成します。
すでに SSH プロキシーを実施している場合 Cloudflare SSH CA（Gateway）が存在するので、新しく作る必要はありません。

接続例

SSH クライアント

Target で定義された宛先に接続。
warp-cli で宛先を確認できるのでわかりやすい。

C:\Users\K>warp-cli target list
╭───────────┬──────────┬──────┬────────────────┬──────────────────────┬────────────────────╮
│ Target ID │ Protocol │ Port │ Attributes     │ IP (Virtual Network) │ Usernames          │
├───────────┼──────────┼──────┼────────────────┼──────────────────────┼────────────────────┤
│ ********* │ SSH      │ 22   │ hostname: tun2 │ 172.16.0.253 (*****) │ ubuntu, aduser1    │
╰───────────┴──────────┴──────┴────────────────┴──────────────────────┴────────────────────╯

実装前に接続していたホストと鍵が変わる。

C:\Users\K>ssh aduser1@172.16.0.253
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@    WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!     @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!
Someone could be eavesdropping on you right now (man-in-the-middle attack)!
It is also possible that a host key has just been changed.

認証指定なしで接続が可能。

C:\Users\K>ssh -v aduser1@172.16.0.253 whoami 2>&1 | findstr Authenticated
Authenticated to 172.16.0.253 ([172.16.0.253]:22) using "none".

WARP のログインユーザー以外でも接続可能。

C:\Users\K>ssh ubuntu@172.16.0.253 whoami
ubuntu

C:\Users\K>ssh aduser1@172.16.0.253 whoami
aduser1

Cloudflare

Access > Applications > Policy

SSH user から消したユーザーは接続できなくなる。

C:\Users\K>ssh -v ubuntu@172.16.0.253

Received disconnect from 172.16.0.253 port 22:14: origin auth failed
Disconnected from 172.16.0.253 port 22

Logs > Access
ログイン失敗のログも残る。

SSH コマンドログ

SSH コマンドログは Access のログに。
Logs > Access

SSH プロキシーとコマンドログ とはダウンロード場所が違うが、ファイル内容の確認方法は同じ。

まとめ

Access for Infrastructure は今後の機能拡張もされていきそうなので、これベースの設計に切り替えたり新設したりするのが良さそうです。

はじめに

1. クライアントサイド cloudflared

接続例

2. WARP-to-Tunnel

接続例

3. WARP-to-Tunnel + SSH プロキシーとコマンドログ

4. WARP-to-Tunnel + Access for インフラストラクチャ

接続例

まとめ

Discussion