🐾

proxmoxのコンテナにk8sクラスタを構築する

2023/05/28に公開

この記事は書きかけです。内容についての質問は @honahuku までお願いします

環境

proxmox ve 7.4.3 in lxc container
ubuntu 22.04

インストールするk8sは1.27

lxcコンテナのセキュリティ機能の設定

proxmoxのコンテナでは安全のためにコンテナ内から利用できないOSの機能がある。
これを有効にしなければkubeが動かないのでいくつか設定する。
proxmoxホストOSのシェルで/etc/pve/lxc/[コンテナID].confを開き以下の内容を追記する

lxc.apparmor.profile: unconfined
lxc.cap.drop:
lxc.cgroup.devices.allow: a
lxc.mount.auto: proc:rw sys:rw

保存後、コンテナを再起動して中に入る

https://zenn.dev/ddpn08/articles/d85176619f3fdd#configファイルに追記

必要なソフトウェアのインストール

apt-get update && apt-get install -y apt-transport-https ca-certificates curl wget

コンテナランタイムのインストール

採用数が多く安定していること、セットアップが簡単なこと、ベンチマークの結果も悪くないことからcontainerdを採用する

wget https://github.com/containerd/containerd/releases/download/v1.6.20/containerd-1.6.20-linux-amd64.tar.gz
tar xvf containerd*.tar.gz
mv ./bin/* /usr/local/bin/
wget https://raw.githubusercontent.com/containerd/containerd/main/containerd.service
mkdir -p /usr/local/lib/systemd/system/
mv containerd.service /usr/local/lib/systemd/system/containerd.service
systemctl daemon-reload
systemctl enable --now containerd

doc:
コンテナランタイムの比較
https://www.reddit.com/r/kubernetes/comments/x75sb4/kube_container_performance_crio_vs_containerd/

セットアップ
#step-1-installing-containerd

runcのインストール

wget https://github.com/opencontainers/runc/releases/download/v1.1.7/runc.amd64
install -m 755 runc.amd64 /usr/local/sbin/runc

doc:
#step-2-installing-runc

OOM watcherの対応

proxmoxのコンテナ内では/dev/kmsgが存在しないため/dev/consoleのリンクを貼る

ln -s /dev/console /dev/kmsg
# 再起動後も有効にする
echo 'L /dev/kmsg - - - - /dev/console' > /etc/tmpfiles.d/kmsg.conf

doc:
https://zenn.dev/ddpn08/articles/d85176619f3fdd#エラー対応

ipv4 port forwardを設定する

/etc/sysctl.conf

を編集して以下の値を0から1に変更する

net.ipv4.ip_forward = 1

再起動して以下を実行する

/sbin/sysctl net.ipv4.ip_forward

1が返ってくればOK

doc:
https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/6/html/load_balancer_administration/s1-lvs-forwarding-vsa

kubeのツール群をインストール

# gcloudの公開鍵を追加
mkdir -p /etc/apt/keyrings/
curl -fsSLo /etc/apt/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg

# kubeのリポジトリを追加
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

# インストール
apt-get update && apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl

doc:
https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#kubeadm-kubelet-kubectlのインストール

kubeadm init

kubeadmでクラスタのセットアップを行う

proxmoxカーネルの検証エラーを無視する

proxmoxのコンテナ内で使われるコンテナのカーネルは5.15.102-1-pveなっており、kubeadmの未知のカーネルなのでエラーが出る。
これは--ignore-preflight-errors=SystemVerificationで無視する

kubeadm init \
--control-plane-endpoint 192.168.30.10 \
--pod-network-cidr=10.244.0.0/16 \
--ignore-preflight-errors=SystemVerification \
--skip-phases=addon/kube-proxy

doc:
https://zenn.dev/ddpn08/articles/d85176619f3fdd#エラー対応

クラスタの参加

2台目以降はinitではなく以下のコマンドを実行する

kubeadm join 192.168.30.10:6443 --token xxxxxxxxxxxxxxxxxxxxxxx \
        --discovery-token-ca-cert-hash sha256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx \
        --ignore-preflight-errors=SystemVerification

トラブルシューティング

もしkubeadm initでエラーが出た場合に設定を変更し、もう一度kubeadm initを実行する際は以下を実行する

kubeadm reset

doc:
https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#ノードの削除

Discussion