📘

Raspberry Piでkubernetesクラスタを組んでみた(kubeadm編)

2022/11/21に公開

はじめに

前回はhard-wayでk8sクラスタを構築しましたが、今回はkubeadmを使ってkubernetesクラスタを構築し直していきます。
(ubuntu server 22.04で構築できるかと、最新版のkubernetesを入れたかったので)

前回の記事

https://zenn.dev/dl10yr/articles/raspi-k8s-2022-1

参考文献

このあたりを参考にさせていただきました。
https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
https://future-architect.github.io/articles/20220908a/
https://qiita.com/greenteabiscuit/items/6fce805185350eab6f7a

構築手順

ラズパイの設定

これと同じです。
https://zenn.dev/dl10yr/articles/raspi-k8s-2022-1#ラズパイ設定

/etc/hosts

/etc/hosts
10.0.0.11 raspi-0001
10.0.0.12 raspi-0002
10.0.0.13 raspi-0003

を追記

cgroupのMemory Subsystemの有効化

https://zenn.dev/dl10yr/articles/raspi-k8s-2022-1#準備
これと同じです。

iptablesがブリッジを通過するトラフィックを処理できるようにする

https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#iptablesがブリッジを通過するトラフィックを処理できるようにする

cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sudo sysctl --system

iptablesがnftablesバックエンドを使用しないようにする

https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#iptablesがnftablesバックエンドを使用しないようにする

# レガシーバイナリがインストールされていることを確認してください
sudo apt-get install -y iptables arptables ebtables

# レガシーバージョンに切り替えてください。
sudo update-alternatives --set iptables /usr/sbin/iptables-legacy
sudo update-alternatives --set ip6tables /usr/sbin/ip6tables-legacy
sudo update-alternatives --set arptables /usr/sbin/arptables-legacy
sudo update-alternatives --set ebtables /usr/sbin/ebtables-legacy

CRI-Oのインストール

https://kubernetes.io/ja/docs/setup/production-environment/container-runtimes/#cri-o

コンテナランタイムをインストールします。dockerは非推奨?になってるようなので、CRI-Oにしました。

modprobe overlay
modprobe br_netfilter

cat > /etc/sysctl.d/99-kubernetes-cri.conf <<EOF
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward                 = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

sysctl --system
OS=xUbuntu_22.04
VERSION=1.25

echo "deb https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/ /" > /etc/apt/sources.list.d/devel:kubic:libcontainers:stable.list
echo "deb http://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable:/cri-o:/$VERSION/$OS/ /" > /etc/apt/sources.list.d/devel:kubic:libcontainers:stable:cri-o:$VERSION.list

curl -L https://download.opensuse.org/repositories/devel:kubic:libcontainers:stable:cri-o:$VERSION/$OS/Release.key | apt-key add -
curl -L https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/Release.key | apt-key add -

apt-get update
apt-get install cri-o cri-o-runc

systemctl daemon-reload
systemctl enable crio
systemctl start crio

kubeadm, kubelet, kubectlのインストール

https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#kubeadm-kubelet-kubectlのインストール

sudo apt-get update && sudo apt-get install -y apt-transport-https curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
cat <<EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

cat <<EOF | sudo tee /etc/default/kubelet
KUBELET_EXTRA_ARGS=--container-runtime-endpoint='unix:///var/run/crio/crio.sock'
EOF

reload

systemctl daemon-reload
systemctl restart kubelet

kubeadm initでクラスター初期化

https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#コントロールプレーンノードの初期化

sudo kubeadm init --pod-network-cidr=10.244.0.0/16 --control-plane-endpoint=raspi-0001 --apiserver-cert-extra-sans=raspi-0001
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
export KUBECONFIG=$HOME/.kube/config
kubectl get nodes

NAME         STATUS   ROLES           AGE     VERSION
raspi-0001   Ready    control-plane   2m55s   v1.25.4

worker nodeを参加させる

## reloadまでは手順同じで構築

master node(raspi-0001)で参加コマンドを確認

ubuntu@raspi-0001:~$ kubeadm token create --print-join-command
kubeadm join raspi-0001:6443 --token hogehoge --discovery-token-ca-cert-hash sha256:hogehoge

worker nodeで参加コマンド打つ

kubeadm join raspi-0001:6443 --token hogehoge --discovery-token-ca-cert-hash sha256:hogehoge

master nodeで確認

ubuntu@raspi-0001:~$ kubectl get node
NAME         STATUS   ROLES           AGE   VERSION
raspi-0001   Ready    control-plane   11m   v1.25.4
raspi-0002   Ready    <none>          6s    v1.25.4

増えてる!

Discussion