最近服务器出了点问题，加上一直以来大量运维工作令人崩溃，终于第二次下定决心把K8S装上。
但是虽然距离上次踩坑才过去一年，但这个坑却丝毫没有变浅。
加上之前用的是熟练的Ubuntu，这次又换了Centos，感觉需要重新学的东西挺多的。
一、安装kubelet kubeadm kubectl
首先是三件套的安装，一般来说yum和apt都是装不了的，但还好阿里云提供了资源。
按照上面的说明，执行以下代码进行安装
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
setenforce 0
yum install -y kubelet kubeadm kubectl
systemctl enable kubelet && systemctl start kubelet
ps: 由于官网未开放同步方式, 可能会有索引gpg检查失败的情况, 这时请用 yum install -y --nogpgcheck kubelet kubeadm kubectl安装
下面是ubuntu的安装手法
apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
#只在控制节点运行
apt-get install -y kubelet kubeadm kubectl
# 在node节点运行
apt-get install -y kubelet kubeadm
# 安装指定版本：
apt-get install kubeadm=1.18.2-00 kubectl=1.18.2-00 kubelet=1.18.2-0
二、下载kubeadm所需要镜像
执行kubeadm config images list可以知道初始化一个集群需要什么镜像，但是k8s.gcr.io我国是用不了的，所以还是得依靠阿里云的源。
我们通过一个shell脚本来假装这个东西是从官方下载的。
#!/bin/sh
images=(
kube-apiserver:v1.18.2
kube-controller-manager:v1.18.2
kube-scheduler:v1.18.2
kube-proxy:v1.18.2
pause:3.2
etcd:3.4.3-0
coredns:1.6.7
)
for imageName in ${images[@]} ; do
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName}
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName} k8s.gcr.io/${imageName}
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName}
done
这个脚本要在所有的服务器上运行，不然join的时候没办法创建容器
三、初始化
首先关闭防火墙和selinux。
sudo systemctl disable firewalld
sudo systemctl status firewalld
sudo iptables -P INPUT ACCEPT
sudo iptables -F
Docker和CRI-O都是运行时容器管理工具，后者较轻量一些，但是Docker大家都比较熟悉，所以启动的时候使用Docker作为CRI。（记得Docker要19.03以上）
kubeadm init --cri-socket /var/run/dockershim.sock
这时候如果要选择比如Calico这种网络库，则要指定特定子网，具体方案根据官网的安装需求推荐，下面这个是Calico需要的配置，如果是flannel则为--pod-network-cidr=10.244.0.0/16
kubeadm init --cri-socket /var/run/dockershim.sock --pod-network-cidr=192.168.0.0/16
之后kubeadm会执行一系列的检测(preflight)
[preflight] Running pre-flight checks
[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
比如我这里有一个建议让我换docker cgroup引擎的警告。编辑/etc/docker/daemon.json加入
{
....
"exec-opts":["native.cgroupdriver=systemd"]
}
然后重启Docker
systemctl restart docker
systemctl status docker
如果初始化有问题，想要重新init，可以运行kubeadm reset，之后再重新初始化。
初始化的最后会显示，把下面这行保存下来。
kubeadm join 172.18.182.32:6443 --token ??????????????????? \
--discovery-token-ca-cert-hash sha256:?????????????????????????
然后我们执行下面的命令，记住要用非root用户，root用户没办法自动读取config
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
而需要这些配置命令的原因是：Kubernetes 集群默认需要加密方式访问。所以，这几条命令，就是将刚刚部署生成的 Kubernetes 集群的安全配置文件，保存到当前用户的.kube 目录下，kubectl 默认会使用这个目录下的授权信息访问 Kubernetes 集群。如果不这么做的话，我们每次都需要通过 export KUBECONFIG 环境变量告诉 kubectl 这个安全配置文件的位置。
这个时候查看node状态
[root@sp-141 kubernetes]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
sp-141 NotReady master 107m v1.18.2
发现我们的sp-141是NotReady的状态，这是为什么呢？
我们通过kubectl describe node sp-141来找找原因，在调试 Kubernetes 集群时，最重要的手段就是用 kubectl describe 来查看这个节点（Node）对象的详细信息、状态和事件（Event）。
Ready False Sat, 09 May 2020 13:58:56 +0800 Sat, 09 May 2020 12:13:22 +0800 KubeletNotReady runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
哦！原来是网络插件没有初始化～
另外，我们还可以通过 kubectl 检查这个节点上各个系统 Pod 的状态，其中，kube-system 是 Kubernetes 项目预留的系统 Pod 的工作空间（Namepsace，注意它并不是 Linux Namespace，它只是 Kubernetes 划分不同工作空间的单位）
[root@sp-141 kubernetes]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-66bff467f8-955g4 0/1 Pending 0 114m
coredns-66bff467f8-vrnhx 0/1 Pending 0 114m
etcd-sp-141 1/1 Running 2 114m
kube-apiserver-sp-141 1/1 Running 2 114m
kube-controller-manager-sp-141 1/1 Running 1 114m
kube-proxy-42m5s 1/1 Running 0 114m
kube-scheduler-sp-141 1/1 Running 1 114m
四、安装网络插件
CNI意为容器网络接口，它是一种标准的设计，为了让用户在容器创建或销毁时都能够更容易地配置容器网络。插件负责为接口配置和管理IP地址，并且通常提供与IP管理、每个容器的IP分配、以及多主机连接相关的功能。容器运行时会调用网络插件，从而在容器启动时分配IP地址并配置网络，并在删除容器时再次调用它以清理这些资源。
常用的网络插件有Flannel、Calico、Canal、Weave，它们各有优势，请选择使用。
目前比较流行的插件请看这里
如果是用Calico或者Cilium，需要再kubeadm的时候指定--pod-network-cidr=x.x.x.x.
所以我们这里先用weave。
kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"
但是这个用不了，所以我们重新搞一遍，安装Calico。
kubeadm reset
kubeadm init --cri-socket /var/run/dockershim.sock --pod-network-cidr=192.168.0.0/16
kubectl apply -f https://docs.projectcalico.org/v3.11/manifests/calico.yaml
# 或者
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
虽然执行后等了一会，但总算还是可以了，所以选择最推荐的那个addon准没错。
五、加入Worker节点
kubeadm join 172.18.182.32:6443 --token ??????????????????? \
--discovery-token-ca-cert-hash sha256:?????????????????????????
之后发现有一些pod都是pendding状态，使用kubectl describe pod kube-proxy-4cnfb --namespace=kube-system查看日志，发现是worker节点镜像拉不到，我们就运行一下那个脚本。
然后过了一会，发现master节点一直没有ready
我们下载下来Calico的yml文件，进行修改(rollo modified的那三行)
# Cluster type to identify the deployment type
- name: CLUSTER_TYPE
value: "k8s,bgp"
# rollo modified
- name: IP_AUTODETECTION_METHOD
value: "interface=eth.*"
# Auto-detect the BGP IP address.
- name: IP
value: "autodetect"
然后重新apply这个yml，一会儿过后，全都正常了
六、使Master结点也可以部署POD
当然我们不是很建议这么搞
kubectl taint nodes --all node-role.kubernetes.io/master-
输出类似这样
node/sp-141 untainted
taint "node-role.kubernetes.io/master" not found
taint "node-role.kubernetes.io/master" not found
七、安装面板
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml
kubectl get pods --all-namespaces
需要打开proxy来开放端口
kubectl proxy
当然现在也看不了，因为安全性考虑没有打开远程连接，之后的折磨再战吧！
