在 Mac 上安装 K8s 集群
1. 安装 VirtualBox 和 Ubuntu
2. 安装 Docker
在 Ubuntu 中安装 docker
# 安装 docker
sudo apt install docker.io
# 查看 docker 版本
sudo docker -v
修改配置
sudo vim /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"]
}
sudo systemctl daemon-reload
sudo systemctl restart docker
3. 安装 K8s
3.1 配置 iptables
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
# 让配置生效
sudo sysctl --system
3.2 安装证书相关软件
sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl
3.3 安装 kubeadm
# 配置源
sudo curl -s https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -
sudo tee /etc/apt/sources.list.d/kubernetes.list <<-'EOF'
deb https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial main
EOF
# 安装k8s组件
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
# 将软件包标记为保留，以防止软件包被自动安装、升级或删除
sudo apt-mark hold kubelet kubeadm kubectl
3.4 初始化
sudo vim /etc/hosts
# 在文件最后增加一行
192.168.56.100 dreamk8s.com
# 保存文件
sudo kubeadm init \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.22.2 \
--pod-network-cidr=192.168.0.0/16 \
--apiserver-advertise-address=192.168.56.100
安装完成
image.png
可以查看启动的容器
image.png
3.5 配置 kubeconfig
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
3.6 允许pod调度到master节点
查看节点
image.png
默认情况下，出于安全原因，你的集群不会在控制平面节点上调度 Pod。 如果你希望能够在控制平面节点上调度 Pod， 例如用于开发的单机 Kubernetes 集群，请运行：
kubectl taint nodes --all node-role.kubernetes.io/master-
image.png
3.7 安装 calico cni 插件
Quickstart for Calico on Kubernetes
wget https://docs.projectcalico.org/manifests/tigera-operator.yaml
wget https://docs.projectcalico.org/manifests/custom-resources.yaml
# 修改 custom-resources.yaml
# 新增，其中 enp0s8 是 192.168.56.100 的网卡
nodeAddressAutodetectionV4:
interface: enp0s8
image.png
kubectl create -f tigera-operator.yaml
kubectl create -f custom-resources.yaml
image.png
3.8 查看运行情况
image.png
4. 加入新节点
- 安装 Ubuntu k8s2
- 分配 IP：192.168.56.101
- 安装 Docker
- 安装 kubeadm
- 将节点加入到k8s集群中
sudo kubeadm join 192.168.56.100:6443 --token q7sjag.7wogatqvoo4sqa3g --discovery-token-ca-cert-hash sha256:5fb832b6a32003574ab5f76e31c5a1cfd49bcbd0b37a9a6140d088b7f4fd8cf5
如果提示错误，则需要重新生成 token
image.png
4.1 重新生成token
- 在 master节点中（k8s1） 中
查看是否存在 jws-kubeconfig-xxxxx ，如果不存在则证明 token 过期
kubectl get configmap cluster-info --namespace=kube-public -o yaml
或者通过 token list 查询
kubeadm token list
- 生成 token
kubeadm token create --ttl 0
image.png
查看 token 列表
image.png
- 生成证书摘要
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
image.png
- 在 k8s2 中使用新的 token 加入 k8s 集群
sudo kubeadm join 192.168.56.100:6443 --token 8n2j4e.vjz54voa5dlagnbq --discovery-token-ca-cert-hash sha256:5fb832b6a32003574ab5f76e31c5a1cfd49bcbd0b37a9a6140d088b7f4fd8cf5
image.png
- 在 master 节点上查看节点
kubectl get nodes
image.png
5. 解决加入新节点后 calico-node 不正常的问题
5.1 查看 calico-node 的状态
# 查看 calico-node pod 的状态
kubectl get pod -o wide -n calico-system
加入新的节点后发现两个 calico-node 的 pod 运行异常，READY那一列显示 0/1 ，但是在worker节点加入之前是好的
image.png
5.2 查看节点信息
kubectl get node -o wide
image.png
发现两个节点的 INTERNAL-IP 是一样的
5.3 查看两个节点的 ip
# 在两个节点上分别运行
ifconfig
master 节点上
image.png
worker 节点上
image.png
master 和 worker 节点上的 enp0s3 的 ip 都是 10.0.2.15，但是我们需要用 enp0s8 的 ip 作为节点的各自 ip
5.4 修改节点的 INTERNAL IP
# 在两个节点上分别编辑配置文件
sudo vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
# 新增加一行 Environment="KUBELET_EXTRA_ARGS=--node-ip=192.168.56.100"
image.png
其中的 ip 对应的是 enp0s8 网卡的ip，第二个节点上的ip是 192.168.56.101
重启服务使配置生效
sudo systemctl daemon-reload
sudo systemctl restart kubelet
再次查看节点信息
image.png
查看 calico-node 的状态
image.png
已经正常
加入新的节点时也是一样的操作
现在就有一个可以使用的 k8s 集群了
