最近在公司的华为云的ECS主机上搭建了一套单master多node节点的k8s集群，于是为了记录，现在通过虚拟机搭建重现下过程。
首先是准备工作，master节点和node节点都需要做的措施。
0、检查MAC 地址和 网卡的uuid 是否唯一（由于是用虚拟机重现过程，并且是用模板克隆的两个虚拟机，所以需要检查这一步，如果是物理机就不需要）
*使用ip link或 ifconfig -a来查看mac地址
（如果两个机器的macd地址一致，则需要在虚拟机软件比如vmware的网络适配器的高级配置中生成新的）
使用cat /etc/sysconfig/network-scripts/网卡名称 | grep UUID查看uuid是多少
（如果两台机器的uuid一致，则使用uuidgen命令，生成新的，最后到/etc/sysconfig/network-scripts/文件下的网卡文件中找到uuid那行进行替换，最后重启network）
1、修改hostname和/etc/hosts/,关闭swap交换分区和selinux、firewalld（做完后重启机器）
vi /etc/hostname (修改主机名)
vi /etc/hosts （添加master和node的主机名及IP）
vi /etc/selinux/config （修改SELINUX=disabled）
vi /etc/fstab (注释掉swap那行)
2、修改环境变量
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
命令行执行 sysctl --system
vi /etc/sysctl.conf（添加如下内容）
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
命令行执行 sysctl -p
3、安装ipvs,修改相关参数
yum install ipvs* -y
(由于是用虚拟机模拟生产环境，生产环境无法联网用外网yum源所以用的本地yum，所以在这里使用yum前，
已配置过本地yum源，怎么配本地yum源可见我写的另一篇文章
https://www.jianshu.com/p/41ff527b3cfa
）
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
modprobe nf_conntrack
EOF
命令行输入 chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
4、用二进制文件安装docker
官网下好二进制文件放入虚拟机中(https://download.docker.com/linux/static/stable/x86_64/)
输入如下命令，使docker能用systemctl来启停服务
tar zxvf docker-${DOCKER_INSTALL_VERSION}.tgz
chown -R root.root docker/*
cp docker/* /usr/bin/
cat > /usr/lib/systemd/system/docker.service << EOF
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl start docker
systemctl enable docker
5、启动好docker 后修改新增daemon.json，在里面加上harbor仓库地址。（harbor仓库用来存各种kubernetes需要的镜像，怎么搭harbor可参考我写的这篇文章 https://www.jianshu.com/p/8e6f6856a387）
vi /etc/docker/daemon.json
添加如下
{
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"insecure-registries": [
"192.168.116.129" #harbor仓库地址
],
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
systemctl daemon-reload
systemctl restart docker
6、用rpm包安装kubeadm\kubectl\kubelet
在阿里云镜像官网下载三个组件的rpm包,放到虚拟机中的同一个文件夹下(http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/Packages/)
最后，在文件夹中，yum localinstall *，安装的时候会安装一些依赖包，这些依赖包本地yum源中都会有，安装完成后 systemctl enable kubelet
7、修改docker和kubelet的cgroup驱动为systemd，因为用的是k8s 1.18.18，这个版本里官方文档说systemd驱动好用
*改docker的驱动
vi /etc/docker/daemon.json 添加如下
"exec-opts": ["native.cgroupdriver=systemd"],
*改kubelet的cgroup驱动
vi /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS=--cgroup-driver=systemd
8、使用如下地址和仓库地址，在外网下载好镜像后，最后将镜像放到harbor仓库中
#!/bin/bash
images=(
kube-apiserver:v1.18.18
kube-controller-manager:v1.18.18
kube-scheduler:v1.18.18
kube-proxy:v1.18.18
pause:3.2
etcd:3.4.3-0
coredns:1.6.7
)
for imageName in ${images[@]};
do
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName}
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName} 192.168.116.129/library/${imageName}
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName}
done
在外网用迅雷下载flannel的镜像包，地址如下：
https://github.com/flannel-io/flannel/releases/download/v0.14.0-rc1/flanneld-v0.14.0-rc1-amd64.docker
最后镜像，都push到harbor仓库中。
9、修改kubeadm.conf文件（仅master节点做）
kubeadm config print init-defaults > kubeadm.conf
vi kubeadm.conf 修改如下地方
advertiseAddress: 192.168.116.131 改成自己单master节点的IP
name: master 改成自己单master节点的主机名
podSubnet: 10.244.0.0/16 在serviceSubnet上一行增加
kubernetesVersion: v1.18.18 修改k8s版本为自己下的k8s包的版本
imageRepository: 192.168.116.129/library 修改成自己的harbor仓库地址
最后kubeadm init --config kubeadm.conf
记下kubeadm join 那部分的命令及密钥
10、配置环境变量
由于是用的root用户可以直接敲如下命令，不需要用截图中k8s安装成功的信息所提到的那样放admin.conf文件
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
sourece ~/.bash_profile
scp /etc/kubernetes/admin.conf root@节点IP：/etc/kubernetes/
传递admin.conf文件过去，然后像上面那样修改环境变量
11、配置flannel 网络 （仅master节点做）
在外网服务器上配好199.232.28.133 raw.githubusercontent.com
然后下载flannel的yml文件，wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml ,然后放到master节点上
vi kube-flannel.yml里的镜像地址为自己的harbor仓库的镜像的地址
kubectl apply -f kube-flannel.yml
启动好后，kubectl get no,会看到master节点已是ready 状态
12、加入node节点 (仅node节点做)
使用前面保存的kubeadm init 那一串的命令和密钥
kubeadm join 192.168.116.131:6443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:0e12e1a0b0e1c911aa8d90dbde567833931716d55211b24d1d0951cecde19114
最后，修改node节点角色名称，不然一直会是 <none> ，
kubectl label node node1 node-role.kubernetes.io/node=node
（不管是node节点还是master节点，一定要先docker login harbor地址成功后 ，才能拉取到镜像）
