🐾
proxmoxのコンテナにk8sクラスタを構築する
この記事は書きかけです。内容についての質問は @honahuku までお願いします
環境
proxmox ve 7.4.3 in lxc container
ubuntu 22.04
インストールするk8sは1.27
lxcコンテナのセキュリティ機能の設定
proxmoxのコンテナでは安全のためにコンテナ内から利用できないOSの機能がある。
これを有効にしなければkubeが動かないのでいくつか設定する。
proxmoxホストOSのシェルで/etc/pve/lxc/[コンテナID].confを開き以下の内容を追記する
lxc.apparmor.profile: unconfined
lxc.cap.drop:
lxc.cgroup.devices.allow: a
lxc.mount.auto: proc:rw sys:rw
保存後、コンテナを再起動して中に入る
必要なソフトウェアのインストール
apt-get update && apt-get install -y apt-transport-https ca-certificates curl wget
コンテナランタイムのインストール
採用数が多く安定していること、セットアップが簡単なこと、ベンチマークの結果も悪くないことからcontainerdを採用する
wget https://github.com/containerd/containerd/releases/download/v1.6.20/containerd-1.6.20-linux-amd64.tar.gz
tar xvf containerd*.tar.gz
mv ./bin/* /usr/local/bin/
wget https://raw.githubusercontent.com/containerd/containerd/main/containerd.service
mkdir -p /usr/local/lib/systemd/system/
mv containerd.service /usr/local/lib/systemd/system/containerd.service
systemctl daemon-reload
systemctl enable --now containerd
doc:
コンテナランタイムの比較
セットアップ
#step-1-installing-containerd
runcのインストール
wget https://github.com/opencontainers/runc/releases/download/v1.1.7/runc.amd64
install -m 755 runc.amd64 /usr/local/sbin/runc
OOM watcherの対応
proxmoxのコンテナ内では/dev/kmsgが存在しないため/dev/consoleのリンクを貼る
ln -s /dev/console /dev/kmsg
# 再起動後も有効にする
echo 'L /dev/kmsg - - - - /dev/console' > /etc/tmpfiles.d/kmsg.conf
doc:
ipv4 port forwardを設定する
/etc/sysctl.conf
を編集して以下の値を0から1に変更する
net.ipv4.ip_forward = 1
再起動して以下を実行する
/sbin/sysctl net.ipv4.ip_forward
1が返ってくればOK
doc:
kubeのツール群をインストール
# gcloudの公開鍵を追加
mkdir -p /etc/apt/keyrings/
curl -fsSLo /etc/apt/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg
# kubeのリポジトリを追加
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
# インストール
apt-get update && apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl
doc:
kubeadm init
kubeadmでクラスタのセットアップを行う
proxmoxカーネルの検証エラーを無視する
proxmoxのコンテナ内で使われるコンテナのカーネルは5.15.102-1-pveなっており、kubeadmの未知のカーネルなのでエラーが出る。
これは--ignore-preflight-errors=SystemVerificationで無視する
kubeadm init \
--control-plane-endpoint 192.168.30.10 \
--pod-network-cidr=10.244.0.0/16 \
--ignore-preflight-errors=SystemVerification \
--skip-phases=addon/kube-proxy
doc:
クラスタの参加
2台目以降はinitではなく以下のコマンドを実行する
kubeadm join 192.168.30.10:6443 --token xxxxxxxxxxxxxxxxxxxxxxx \
--discovery-token-ca-cert-hash sha256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx \
--ignore-preflight-errors=SystemVerification
トラブルシューティング
もしkubeadm initでエラーが出た場合に設定を変更し、もう一度kubeadm initを実行する際は以下を実行する
kubeadm reset
doc:
Discussion