先使用二进制部署了几次，全部失败了，原因还未找到，所以使用kubeadm部署先用起来再说。使用二进制部署时，老是出了问题又搞不清原理，解决不了只好回滚虚拟机快照重新来过，太过麻烦，所以后来使用了vagrant。
1.下载VirtualBox和vagrant，编写Vagrantfile(启动三个虚拟机):
Vagrant.configure("2") do |config|
(1..3).each do |i|
config.vm.define "k8s-node#{i}" do |node|
node.vm.box="centos7"
node.vm.hostname="k8s-node#{i}"
node.vm.network "private_network",ip: "192.168.56.#{99+i}", netmask: "255.255.255.0"
node.vm.provider "virtualbox" do |v|
v.name="k8s-node#{i}"
v.memory=2048
v.cpus=2
end
end
end
end
2.虚拟机预处理，使用vagrant的话，先把ssh配一下，修改/etc/ssh/sshd_config的PasswordAuthentication属性为yes以方便xshell连接（Vagrantfile里应该也可以配置，但眼下还没研究怎么弄），修改虚拟机的配置方便安装k8s：
#各个机器设置自己的域名（vagrant就不需要了，在Vagrantfile里配置了）
hostnamectl set-hostname xxxx
集群的主机名写入host文件
cat >> /etc/hosts << EOF
192.168.56.100 k8s-node1
192.168.56.101 k8s-node2
192.168.56.102 k8s-node3
EOF
#关闭防火墙： 或者阿里云开通安全组端口访问
systemctl stop firewalld
systemctl disable firewalld
#关闭 selinux：
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0
#关闭 swap：
swapoff -a #临时
sed -ri 's/.*swap.*/#&/' /etc/fstab #永久
#将桥接的 IPv4 流量传递到 iptables 的链：
# 修改 /etc/sysctl.conf
# 如果有配置，则修改
sed -i "s#^net.ipv4.ip_forward.*#net.ipv4.ip_forward=1#g" /etc/sysctl.conf
sed -i "s#^net.bridge.bridge-nf-call-ip6tables.*#net.bridge.bridge-nf-call-ip6tables=1#g" /etc/sysctl.conf
sed -i "s#^net.bridge.bridge-nf-call-iptables.*#net.bridge.bridge-nf-call-iptables=1#g" /etc/sysctl.conf
sed -i "s#^net.ipv6.conf.all.disable_ipv6.*#net.ipv6.conf.all.disable_ipv6=1#g" /etc/sysctl.conf
sed -i "s#^net.ipv6.conf.default.disable_ipv6.*#net.ipv6.conf.default.disable_ipv6=1#g" /etc/sysctl.conf
sed -i "s#^net.ipv6.conf.lo.disable_ipv6.*#net.ipv6.conf.lo.disable_ipv6=1#g" /etc/sysctl.conf
sed -i "s#^net.ipv6.conf.all.forwarding.*#net.ipv6.conf.all.forwarding=1#g" /etc/sysctl.conf
# 可能没有，追加
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
echo "net.bridge.bridge-nf-call-ip6tables = 1" >> /etc/sysctl.conf
echo "net.bridge.bridge-nf-call-iptables = 1" >> /etc/sysctl.conf
echo "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.conf
echo "net.ipv6.conf.default.disable_ipv6 = 1" >> /etc/sysctl.conf
echo "net.ipv6.conf.lo.disable_ipv6 = 1" >> /etc/sysctl.conf
echo "net.ipv6.conf.all.forwarding = 1" >> /etc/sysctl.conf
# 执行命令以应用
sysctl -p
3.每个节点安装docker：
sudo yum install -y yum-utils
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce-20.10.7 docker-ce-cli-20.10.7 containerd.io-1.4.6
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://82m9ar63.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
sudo systemctl daemon-reload
sudo systemctl start docker
4.安装kubelet、kubeadm、kubectl（每个节点都安装）：
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl
EOF
sudo yum install -y kubelet-1.20.9 kubeadm-1.20.9 kubectl-1.20.9 --disableexcludes=kubernetes
sudo systemctl enable --now kubelet
5.使用kubeadm初始化主节点
下载各个机器需要的镜像（master的组件通过容器来创建）：
udo tee ./images.sh <<-'EOF'
#!/bin/bash
images=(
kube-apiserver:v1.20.9
kube-proxy:v1.20.9
kube-controller-manager:v1.20.9
kube-scheduler:v1.20.9
coredns:1.7.0
etcd:3.4.13-0
pause:3.2
)
for imageName in ${images[@]} ; do
docker pull registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images/$imageName
done
EOF
chmod +x ./images.sh && ./images.sh
初始化主节点：
kubeadm init \
--apiserver-advertise-address=192.168.56.100 \
--control-plane-endpoint=k8s-node1 \
--image-repository registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images \
--kubernetes-version v1.20.9 \
--service-cidr=10.96.0.0/16 \
--pod-network-cidr=172.18.0.0/16
# apiserver-advertise-address：master地址
# control-plane-endpoint：master主机名
# service-cidr：service的clusterIp地址
# pod-network-cidr：pod使用的ip地址
执行完成后，终端的输出为下一步的操作指令，执行（否则kubectl不能使用）：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
6.在主节点安装网络插件：
curl https://docs.projectcalico.org/manifests/calico.yaml -O
修改calico.yaml，找到192.168对应的一行，改为pod-network-cidr对应的ip，注意这行以及上面一行的- name被注释了，要打开，还要注意缩进，执行：kubectl apply -f calico.yaml
7.将工作节点加入k8s：
执行kubeadm init后的输出中的最后一段为工作节点加入的命令：
kubeadm join k8s-node1:6443 --token hums8f.vyx71prsg74ofce7 \
--discovery-token-ca-cert-hash sha256:a394d059dd51d68bb007a532a037d0a477131480ae95f75840c461e85e2c6ae3
如果这段话未记录下来的话，可以使用：kubeadm token list | awk -F" " '{print $1}' |tail -n 1 来查看token，然后使用：openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^ .* //' 来生成sha256。
如果超过了24小时，那就失效了，使用：kubeadm token create --print-join-command 来生成新的令牌。
8.校验集群：
执行：kubectl get nodes ， 查看几个节点是否正常（是否为Ready状态）
创建一个nginx：kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pod,svc
查看是否能正常访问
----------------------------------------------------------------------------------------------------
由于virtualBox默认把虚拟机文件放到了c盘的用户文件夹下，导致c盘空间变小，所以将虚拟机相关文件移动到别的盘，先要修改C:\Users\Administrator\.VirtualBox目录下的VirtualBox.xml和VirtualBox.xml-prev文件的MachineEntry标签的src属性（就是虚拟机文件夹的位置），改为别的盘符下定义的目录，然后重新启动virtualBox，在cmd命令行下执行：VBoxManage list hdds，查看虚拟机的存放位置改过来没，是正确的话，再到Vagrantfile的目录下执行：vagrant up。 我在启动几台虚拟机后，查看：kubectl get nodes，发现有个工作节点是NotReady状态的，查看：kubectl get cs，发现scheduler和controller-manager是Unhealthy的，根据网上的操作，修改/etc/kubernetes/manifests下的kube-controller-manager.yaml和kube-scheduler.yaml，将–port=0这一行注释掉（--port=0：关闭监听 http /metrics 的请求，同时 --address 参数无效，--bind-address 参数有效），我是复制了一份文件，然后将这行删了，然后systemctl restart kubelet，但是我发现还是和之前一样没变化，后来发现，是复制的yaml文件还不能放在/etc/kubernetes/manifests目录下，于是建了一个bak文件夹，将两个复制的yaml文件放了进去，再重启kubelet，发现就好了。
--------------------------------------------------------------------------------------------------------
kubeadm init主节点之后，加入第一个工作节点是正常的，但加入第二个工作节点时却失败了，在主节点执行：kubectl get nodes，发现第二个工作节点是NotReady的，在第二个节点执行：journalctl -f -u kubelet 查看kubelet的日志，发现报错说 Unable to update cni config: no networks found in /etc/cni/net.d，后来将主节点的/etc/cni/net.d复制到工作节点上，重启kubelet还是不行，最后实在没办法将主节点的calico.yaml复制到了第二个工作节点上，再执行：kubectl apply -f calico.yaml，重启kubelet ，发现好了。
