K8S，二进制安装
本次安装为学习+练习向，所以安装并不完全，例如coredns等组件会通过后续学习过程中手动安装方式逐步补全环境；
设备环境
| 主机名 | 系统 | IP | 功能 |
|---|---|---|---|
| ly-test-deploy | Ubuntu 20.04 | 172.16.0.3 | 主部署机 |
| test-ha-kp | Ubuntu 20.04 | 172.16.0.5，VIP：172.16.0.20-24 | 负载均衡代理 |
| test-master01 | Ubuntu 20.04 | 172.16.0.6 | master01节点 |
| test-master02 | Ubuntu 20.04 | 172.16.0.7 | master02节点 |
| test-node01 | Ubuntu 20.04 | 172.16.0.8 | node01节点 |
| test-node02 | Ubuntu 20.04 | 172.16.0.9 | node02节点 |
| test-node03 | Ubuntu 20.04 | 172.16.0.10 | node03节点 |
| test-etcd01 | Ubuntu 20.04 | 172.16.0.11 | etcd01节点 |
| test-etcd02 | Ubuntu 20.04 | 172.16.0.12 | etcd02节点 |
| test-etcd03 | Ubuntu 20.04 | 172.16.0.13 | etcd03节点 |
开始部署
HA+KP部署
test-ha-kp，节点；
# 安装相关软件包；
apt-get -y install haproxy keepalived
HA配置文件内容
global
log /dev/log local0
log /dev/log local1 notice
chroot /var/lib/haproxy
stats socket /run/haproxy/admin.sock mode 660 level admin expose-fd listeners
stats timeout 30s
user haproxy
group haproxy
daemon
# Default SSL material locations
# ca-base /etc/ssl/certs
# ccrt-base /etc/ssl/private
# See: https://ssl-config.mozilla.org/#server=haproxy&server-version=2.0.3&config=intermediate
ssl-default-bind-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384
ssl-default-bind-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256
ssl-default-bind-options ssl-min-ver TLSv1.2 no-tls-tickets
defaults
mode http
log global
log 127.0.0.1 local7
option httplog
option dontlognull
option http-server-close
option forwardfor except 127.0.0.0/8
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
listen k8s-master-6443
bind 172.16.0.20:6443
mode tcp
balance source
server 172.16.0.6 172.16.0.6:6443 check inter 3s fall 3 rise 5
server 172.16.0.7 172.16.0.7:6443 check inter 3s fall 3 rise 5
listen k8s-master-30880
bind 172.16.0.21:30880
mode tcp
server 172.16.0.6 172.16.0.6:30880 check inter 3s fall 3 rise 5
server 172.16.0.7 172.16.0.7:30880 check inter 3s fall 3 rise 5
listen k8s-master-80
bind 172.16.0.22:80
mode tcp
server 172.16.0.6 172.16.0.6:80 check inter 3s fall 3 rise 5
server 172.16.0.7 172.16.0.7:80 check inter 3s fall 3 rise 5
listen k8s-master-443
bind 172.16.0.23:443
mode tcp
server 172.16.0.6 172.16.0.6:443 check inter 3s fall 3 rise 5
server 172.16.0.7 172.16.0.7:443 check inter 3s fall 3 rise 5
listen k8s-node-80
bind 172.16.0.24:80
mode tcp
server 172.16.0.8 172.16.0.8:80 check inter 3s fall 3 rise 5
server 172.16.0.9 172.16.0.9:80 check inter 3s fall 3 rise 5
server 172.16.0.10 172.16.0.10:80 check inter 3s fall 3 rise 5
Keepalived配置文件内容
vrrp_instance VI_1 {
state MASTER
interface eth0
garp_master_delay 10
smtp_alert
virtual_router_id 51
priority 100 #优先级数值越大越优先；
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.17.0.20 dev eth0 label eth0:0
172.17.0.21 dev eth0 label eth0:1
172.17.0.22 dev eth0 label eth0:2
172.17.0.23 dev eth0 label eth0:3
172.17.0.24 dev eth0 label eth0:4
}
nopreempt|preempt #配置抢占模式；
preempt delay 300 #定义抢占模式下延迟多久再抢占；
}
deploy节点部署准备
执行节点test-deploy
安装kubeasz项目
安装git，ansible
apt-get -y install git ansible
声明环境变量
export release=3.5.2
注意：此处声明的是要进行安装的项目版本号，需要和下载的ezdown文件版本相同。参考链接：https://github.com/easzlab/kubeasz/blob/master/docs/setup/00-planning_and_overall_intro.md
下载ezdown项目文件
由于下载地址为国外网站所以速度需要看个人网络情况，可以选择挂代理使用下载器下载；
mkdir -p /usr/local/src/kubeasz/
cd /usr/local/src/kubeasz
wget https://github.com/easzlab/kubeasz/releases/download/${release}/ezdown
赋权并安装项目
chmod +x ./ezdown
./ezdown -D # 国内环境；
./ezdown -D -m standard # 国外环境；
查看输出成果
root@ly-test-deploy:/usr/local/src/kubeasz# ls /etc/kubeasz/
ansible.cfg bin docs down example ezctl ezdown manifests pics playbooks README.md roles tools
创建K8S集群
使用ezctl脚本工具创建名为”test.cluster“的k8s集群，ezctl，可以管理多个K8S集群；
cd /etc/kubeasz/
./ezctl new test.cluster
输出结果
root@ly-test-deploy:/etc/kubeasz# ls clusters/
test.cluster
编辑hosts文件
vim /etc/kubeasz/clusters/test.cluster/hosts
K8S集群节点配置文件，定义了要使用哪些节点；
1 # 'etcd' cluster should have odd member(s) (1,3,5,...)
2 [etcd]
3 172.16.0.11
4 172.16.0.12
5 172.16.0.13
6
7 # master node(s), set unique 'k8s_nodename' for each node
8 # CAUTION: 'k8s_nodename' must consist of lower case alphanumeric characters, '-' or '.',
9 # and must start and end with an alphanumeric character
10 [kube_master]
11 172.16.0.6 k8s_nodename='master-01'
12 172.16.0.7 k8s_nodename='master-02'
13
14 # work node(s), set unique 'k8s_nodename' for each node
15 # CAUTION: 'k8s_nodename' must consist of lower case alphanumeric characters, '-' or '.',
16 # and must start and end with an alphanumeric character
17 [kube_node]
18 172.16.0.8 k8s_nodename='worker-01'
19 172.16.0.9 k8s_nodename='worker-02'
20 172.16.0.10 k8s_nodename='worker-03'
.
.
52 SERVICE_CIDR="10.10.0.0/16"
53
54 # Cluster CIDR (Pod CIDR), not overlap with node(host) networking
55 CLUSTER_CIDR="10.100.0.0/16"
56
57 # NodePort Range
58 NODE_PORT_RANGE="30000-32767"
59
60 # Cluster DNS Domain
61 CLUSTER_DNS_DOMAIN="cluster.k8s"
.
.
向私有Harbor上传pause镜像
查看现有pause镜像标签名称
docker images
.
.
easzlab.io.local:5000/easzlab/pause 3.9 78d53e70b442 5 months ago 744kB
.
.
将原有镜像重新打标签并上传
docker tag easzlab.io.local:5000/easzlab/pause:3.9 test.harbor.lnsz:14433/k8s-guofei-test/pause:3.9
docker push test.harbor.lnsz:14433/k8s-guofei-test/pause:3.9
编辑config.yml文件
vim /etc/kubeasz/clusters/test.cluster/config.yml
K8S的配置文件，定义了要安装什么内容；
.
.
43 ETCD_DATA_DIR: "/mnt/data_disk/etcd" # etcd数据存储目录；
.
.
55 SANDBOX_IMAGE: "test.harbor.lnsz:14433/k8s-guofei-test/pause:3.9" # 指定pause镜像地址；
.
.
62 CONTAINERD_STORAGE_DIR: "/mnt/data_disk/containerd"
.
.
75 MASTER_CERT_HOSTS:
76 - "172.16.0.20"
77 - "172.16.0.21"
78 - "172.16.0.22"
79 - "172.16.0.23"
80 - "test.k8s.lnsz"
81 #- "www.test.com"
.
.
注意由于本文档用于学习向，所以在该文件中包括coredns，metric server，dashboard，prometheus，nfs全部自行手动安装，所以在config.yml文件后半部组件部分，自动安装选项均选择no；
修改/etc/kubeasz/playbooks/01.prepare.yml，将不需要安装的服务注释掉；
vim /etc/kubeasz/playbooks/01.prepare.yml #查看ansible剧本内容，删除掉我们不需要其执行的部分；
# [optional] to synchronize system time of nodes with 'chrony'
- hosts:
- kube_master
- kube_node
- etcd
# - ex_lb #负载均衡服务，我们自行搭建所以此处注释掉；
# - chrony
初始化deploy节点（prepare阶段）
本操作必须使用root用户执行；
执行部署命令
/etc/kubeasz/ezctl setup test.cluster 01
如果出现ssh无法访问情况，请酌情修改/etc/kubeasz/ansible.cfg文件；
部署etcd节点（etcd阶段）
首先所有etcd节点必须安装python，包括deploy节点；
apt-get -y install python
执行部署命令
/etc/kubeasz/ezctl test.cluster 02
注意如果所使用环境带有防火墙或者安全组等防护服务，需要开放2379和2380端口，以便etcd集群互相通信；（若不提前开放，可能会造成安装报错）
部署运行时（containerd-runtime阶段）
配置master和node节点下载部署所需images时所用到的节点信息；
由于部署运行时阶段需要下载相应的images，所以可以提前修改/etc/kubeasz/roles/containerd/templates/config.toml.j2，将自行搭建的harbor地址信息编辑进去，以方便后续节点进行下载。
.
.
147 [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
.
.
167 [plugins."io.containerd.grpc.v1.cri".registry.mirrors."test.harbor.lnsz:14433"]
168 endpoint = ["https://test.harbor.lnsz:14433"]
169 [plugins."io.containerd.grpc.v1.cri".registry.configs."test.harbor.lnsz:14433".tls]
170 insecure_skip_verify = true
171 [plugins."io.containerd.grpc.v1.cri".registry.configs."test.harbor.lnsz:14433".auth]
172 username = "admin"
173 password = "Harbor12345"
.
.
如果忘记修改，只能在各自节点上手动修改/etc/containerd/config.toml文件来实现，修改方法相同；
最后重启containerd服务，并使用crictl下载images；
systemctl restart containerd
crictl pull test.harbor.lnsz:14433/test.k8s.lnsz/pause:3.9
执行部署命令
/etc/kubeasz/ezctl setup test.cluster 03
部署master节点（kube-master阶段）
执行部署命令
/etc/kubeasz/ezctl setup test.cluster 04
记得提前调整防火墙等服务开放6443端口
部署node节点（kube-node阶段）
执行部署命令
/etc/kubeasz/ezctl setup test.cluster 05
部署network阶段
将以下3个相关calico镜像上传到自行部署的Harbor服务以提高后续部署速度；
easzlab.io.local:5000/calico/cni
easzlab.io.local:5000/calico/node
easzlab.io.local:5000/calico/kube-controllers
docker tag easzlab.io.local:5000/calico/kube-controllers:v3.24.5 test.harbor.lnsz:14433/test.k8s.lnsz/calico/kube-controllers:v3.24.5
docker tag easzlab.io.local:5000/calico/cni:v3.24.5 test.harbor.lnsz:14433/test.k8s.lnsz/calico/cni:v3.24.5
docker tag easzlab.io.local:5000/calico/node:v3.24.5 test.harbor.lnsz:14433/test.k8s.lnsz/calico/node:v3.24.5
docker push test.harbor.lnsz:14433/test.k8s.lnsz/calico/kube-controllers:v3.24.5
docker push test.harbor.lnsz:14433/test.k8s.lnsz/calico/cni:v3.24.5
docker push test.harbor.lnsz:14433/test.k8s.lnsz/calico/node:v3.24.5
修改部署配置文件/roles/calico/templates/calico-v3.24.yaml.j2，将其中的image下载地址替换成自建harbor地址；
calico-v3.24.yaml.j2的版本需要与clusters/k8s-cluster.1/config.yml中的定义的calico版本一致；
.
.
257 - name: install-cni
258 # image: easzlab.io.local:5000/calico/cni:{{ calico_ver }}
259 image: test.harbor.lnsz:14433/test.k8s.lnsz/calico/cni:{{ calico_ver }}
.
.
304 - name: "mount-bpffs"
305 # image: easzlab.io.local:5000/calico/node:{{ calico_ver }}
306 image: test.harbor.lnsz:14433/test.k8s.lnsz/calico/node:{{ calico_ver }}
.
.
331 - name: calico-node
332 # image: easzlab.io.local:5000/calico/node:{{ calico_ver }}
333 image: test.harbor.lnsz:14433/test.k8s.lnsz/calico/node:{{ calico_ver }}
.
.
587 - name: calico-kube-controllers
588 # image: easzlab.io.local:5000/calico/kube-controllers:{{ calico_ver }}
589 image: test.harbor.lnsz:14433/test.k8s.lnsz/calico/kube-controllers:{{ calico_ver }}
.
.
执行部署命令
/etc/kubeasz/ezctl setup test.cluster 06
测试
#创建一个名为myserver的namespace；
kubectl create ns myserver
#在myserver，ns中启动一个centos:7.9.2009镜像，别名为net-test1；
kubectl run net-test1 --image=centos:7.9.2009 sleep 100000000 -n myserver
kubectl run net-test2 --image=centos:7.9.2009 sleep 100000000 -n myserver
#查询myserver，ns中的pod信息，-o wide，表示查看扩展信息；
kubectl get pod -n myserver -o wide
#交互式登录net-test1容器，注意一定要指定ns，否则可能找不到pod；
kubectl exec -it net-test1 /bin/bash -n myserver
进入容器后，测试是否能和外网，还有各相关容器之间通信，注意由于现在还没有安装coredns所以无法ping同域名；
