k8s 1.22.15 版本技术文档

1. 基础环境

# 00. 编写hosts 文件
cat >> /etc/hosts <<'EOF'
10.0.0.10  k8s-master
10.0.0.11  k8s-node01
10.0.0.12  k8s-node02
EOF

# 01. 关闭swap
# 临时关闭
swapoff -a 
sysctl -w vm.swappiness=0

# 永久关闭(修改配置文件)
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab
echo vm.swappiness=0 >>/etc/sysctl.conf
sysctl -p

# 02. 允许iptable检查桥接流量
cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

# 03. 配置docker 源
curl -o /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
# 查看版本
yum list docker-ce --showduplicates

# 04. 安装docker,可安装指定版本(1.22 版本安装最新docker即可)
yum -y install docker-ce-19.03.15 docker-ce-cli-19.03.15
yum -y install docker-ce

yum -y install bash-completion
source /usr/share/bash-completion/bash_completion

# 05. 配置 docker 镜像加速，配置cgroupdriver为systemd(1.22版本)
mkdir -pv /etc/docker && cat <<EOF | sudo tee /etc/docker/daemon.json
{
  "registry-mirrors": ["https://xxxxx.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

systemctl daemon-reload
systemctl enable --now docker

2. 部署 k8s 环境

# 01. 配置 k8s yum源
cat  > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
EOF

# 02. 安装kubeadm,kubelet,kubectl(版本需要一致)
# 可查看版本
yum -y list kubeadm --showduplicates | sort -r
# 指定版本安装
yum -y install kubeadm-1.22.15-0 kubelet-1.22.15-0 kubectl-1.22.15-0

# 03. 启动服务
systemctl enable --now kubelet && systemctl status kubelet

# 04. 初始化
kubeadm init --kubernetes-version=v1.22.15 --image-repository registry.aliyuncs.com/google_containers  --pod-network-cidr=10.244.0.0/16 --service-cidr=10.254.0.0/16

# 05. 复制授权文件
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 06. 将其他节点加入集群
kubeadm join 10.0.0.10:6443 --token arovuk.vh5jcbs3qnw7beka \
    --discovery-token-ca-cert-hash sha256:1835592d5b35d2c36db19597a7c5d5fd20cddf0beac2a2ae7033850693f46649 
    
# 07. 补全功能
echo "source <(kubectl completion bash)" >> ~/.bashrc && source ~/.bashrc

3. 安装网络插件

# 01. 安装网络插件
kubectl apply -f flannel.yml

# 02. 查看node状态
kubectl get no

image-20221106125937412.png

4. 更换 kube-proxy 网络模式为 ipvs

# 01. 安装软件包
yum -y install conntrack-tools ipvsadm

# 02. 配置模块
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules
bash /etc/sysconfig/modules/ipvs.modules
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

# 03. 修改 mode 为 ipvs
kubectl -n kube-system edit cm kube-proxy

# 04. 查看
kubectl -n kube-system describe cm kube-proxy | grep mode

# 05. 删除旧的 kube-proxy
kubectl get pods -A | grep kube-proxy | awk '{print $2}' | xargs kubectl -n kube-system delete pods 

# 06. 查看日志验证
kubectl -n kube-system logs -f kube-proxy-xxx

ipvs 验证

image-20221105234209711.png

5. 集群扩缩容

5.1 集群节点扩容

# 01. 查看列举当前的 token 信息
kubeam token list

# 02. master 上创建 token,生成加入 集群的命令
date +%s | md5sum | cut -c 5-20

kubeadm token create yunxia.16e4539da45b0cd7 --ttl 0 --print-join-command

# 03. 删除token
kubeadm token delete yunxia.16e4539da45b0cd7 

# 04. 集群扩容
kubeadm join 10.0.0.60:6443 --token yunxia.16e4539da45b0cd7     --discovery-token-ca-cert-hash sha256:84b4a0b4d2933e4b0228249d696863c38d2eb48ffa8495090c27bb7091a55a97

5.2 集群节点缩容

# 01. 需要给下线的节点打污点，驱逐已经调度到该节点的所有pod
kubectl taint node k8s02 name=yunxi:NoExecute

# 02. 删除节点
kubectl delete nodes k8s02

# 注意：如果没有对将要下线的节点进行pod驱逐，该节点的pod不会立即检测出故障。大约5分钟左右，才能将对应的pod在其他节点中重新创建，但在此之前，会优先发现该节点的状态为 'NotReady'
# 生产环境中应该监控nodes的状态，pod的重启次数等

6. 如何使得 master 节点也可以调度 pod

6.1 方法1 - 删除 master 污点

# 01. 查看污点
kubectl describe nodes | grep -A 5 -i taint

image-20221106130856703.png

# 02. 删除污点
kubectl taint node k8s-master node-role.kubernetes.io/master:NoSchedule-

image-20221106130957175.png

7. 修改 api-server 支持的 NodePort 端口映射范围

# 01. 修改API-Server静态Pod的资源清单

vim /etc/kubernetes/manifests/kube-apiserver.yaml 
 ...
 spec:
  containers:
  - command:
    - kube-apiserver
    - --service-node-port-range=30-60000  # 进行添加这一行即可
    ...

image-20221031140907421.png