Kubernetes之二 使用kubeadm 部署k8s

环境版本说明：

三台vmware虚拟机，系统版本CentOS7.8。

Kubernetes 1.16.3。

flannel v0.11

docker 18.09

使用kubeadm可以简单的搭建一套k8s集群环境，。

相关准备


硬件环境

使用三台vmware虚拟机，配置网络，安装centos的时候不分区swap,并保证可以联网,安装好一个后可以clone,记住修改IP和hostname。

k8s-master 4G 4核 CentOS7 192.168.0.4

k8s-node1 2G 2核 CentOS7 192.168.0.8

k8s-node2 2G 2核 CentOS7 192.168.0.9

主机划分

k8s-master作为集群管理节点：etcd kubeadm kube-apiserver kube-scheduler kube-controller-manager kubelet flanneld docker

k8s-node1作为工作节点：kubeadm kubelet flanneld docker

k8s-node2作为工作节点：kubeadm kubelet flanneld docker

一，准备工作，本节相关操作要在所有节点上执行。

安装必要的rpm软件：

yum install -y wget vim net-tools epel-release

关闭防火墙

systemctl disable firewalld

systemctl stop firewalld

关闭selinux

# 临时禁用selinux

setenforce 0

# 永久关闭 修改/etc/sysconfig/selinux文件设置

sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

禁用交换分区，没给swap分区可不做这一步

swapoff -a

# 永久禁用，打开/etc/fstab注释掉swap那一行。

sed -i 's/.*swap.*/#&/' /etc/fstab

修改 /etc/hosts

cat <<EOF >> /etc/host

192.168.10.20 k8s-master

192.168.10.21 k8s-node1

192.168.10.22 k8s-node2

EOF

修改内核参数

cat <<EOF >  /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

EOF

sysctl --system

安装docker18.09

配置yum源

## 配置默认源

## 备份

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

## 下载阿里源

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

## 刷新

yum makecache fast

## 配置k8s源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

EOF

## 重建yum缓存

yum clean all

yum makecache fast

安装docker

下载docker的yum源文件

yum -y install yum-utils device-mapper-persistent-data lvm2

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

这里指定docker版本，可以先查看支持的版本

[root@master ~]# yum list docker-ce --showduplicates |sort -r             

* updates: mirrors.aliyun.com

Loading mirror speeds from cached hostfile

Loaded plugins: fastestmirror

* extras: mirrors.aliyun.com

* epel: hkg.mirror.rackspace.com

docker-ce.x86_64            3:19.03.2-3.el7                    docker-ce-stable

docker-ce.x86_64            3:19.03.1-3.el7                    docker-ce-stable

docker-ce.x86_64            3:19.03.0-3.el7                    docker-ce-stable

docker-ce.x86_64            3:18.09.9-3.el7                    docker-ce-stable

...

* base: mirrors.aliyun.com

目前最新版本为19.03，指定下载18.09

yum install -y docker-ce-18.09.9-3.el7

systemctl enable docker

systemctl start docker

修改docker的启动参数

cat > /etc/docker/daemon.json <<EOF

{

  "registry-mirrors": ["https://xxx.mirror.aliyuncs.com"],

  "exec-opts": ["native.cgroupdriver=systemd"],

  "log-driver": "json-file",

  "log-opts": {

    "max-size": "100m"

  },

  "storage-driver": "overlay2",

  "storage-opts": [

    "overlay2.override_kernel_check=true"

  ]

}

EOF

systemctl restart docker

安装k8s

二，管理节点配置

先在k8s-master上安装管理节点

安装kubeadm，kubelet，指定版本1.16.3

yum install -y kubeadm-1.16.3-0 kubelet-1.16.3-0

初始化kubeadm

这里不直接初始化，因为国内用户不能直接拉取相关的镜像，所以这里想查看需要的镜像版本

[root@master ~]# kubeadm config images list

k8s.gcr.io/kube-apiserver:v1.16.3

k8s.gcr.io/kube-controller-manager:v1.16.3

k8s.gcr.io/kube-scheduler:v1.16.3

k8s.gcr.io/kube-proxy:v1.16.3

k8s.gcr.io/pause:3.1

k8s.gcr.io/etcd:3.3.15-0

k8s.gcr.io/coredns:1.6.2

根据需要的版本，直接拉取国内镜像，并修改tag

# vim kubeadm.sh

#!/bin/bash

## 使用如下脚本下载国内镜像，并修改tag为google的tag

set -e

KUBE_VERSION=v1.16.3

KUBE_PAUSE_VERSION=3.1

ETCD_VERSION=3.3.15-0

CORE_DNS_VERSION=1.6.2

GCR_URL=k8s.gcr.io

ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers

images=(kube-proxy:${KUBE_VERSION}

kube-scheduler:${KUBE_VERSION}

kube-controller-manager:${KUBE_VERSION}

kube-apiserver:${KUBE_VERSION}

pause:${KUBE_PAUSE_VERSION}

etcd:${ETCD_VERSION}

coredns:${CORE_DNS_VERSION})

for imageName in ${images[@]} ; do

  docker pull $ALIYUN_URL/$imageName

  docker tag  $ALIYUN_URL/$imageName $GCR_URL/$imageName

  docker rmi $ALIYUN_URL/$imageName

done

运行脚本，拉取镜像

sh kubeadm.sh

master节点执行

sudo kubeadm init \

--apiserver-advertise-address 192.168.0.4 \

--kubernetes-version=v1.16.3 \

--pod-network-cidr=10.244.0.0/16

注：这里的pod-network-cidr，最好不要改动，和以下的步骤是关联的。

结果返回

...

...

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

...

这几步输出结果有，可以直接复制

## 添加节点需要执行以下命令，可以使用命令 kubeadm token create --print-join-command 来获取

kubeadm join 192.168.0.4:6443 --token mg3ew8.om0uaq1ygbi6c42a    --discovery-token-ca-cert-hash sha256:254a6e3d50ef751f992a7022b15830ddf747c869e3f7a887eb02e6a0294f7ec4

如果是要安装多个master节点，则初始化命令使用

kubeadm init  --apiserver-advertise-address 192.168.0.4 --control-plane-endpoint 192.168.0.4  --kubernetes-version=v1.16.3  --pod-network-cidr=10.244.0.0/16  --upload-certs

注：这里命令init有输出

三，工作节点配置

下载kubeadm kubelet

三台节点都要运行

yum install -y kubeadm kubelet

添加节点

node节点都要运行，

kubeadm join 192.168.10.20:6443 --token lixsl8.v1auqmf91ty0xl0k \

    --discovery-token-ca-cert-hash sha256:c3f92a6ed9149ead327342f48a545e7e127a455d5b338129feac85893d918a55 \

  --ignore-preflight-errors=all（实际中最好预检查）

如果添加节点失败，或是想重新添加，可以使用命令

kubeadm reset

注：不要在轻易master上使用，它会删除所有kubeadm配置 这时在节点上就可以使用命令查看添加的节点信息了

[root@k8s-master ~]# kubectl get nodes

NAME        STATUS    ROLES    AGE  VERSION

k8s-master  NotReady  master  45m  v1.16.0

k8s-node1    NotReady  <none>  26s  v1.16.0

k8s-node2    NotReady  <none>  12s  v1.16.0

但节点的状态就是 NotReady，还需要一些操作

四，安装flanneld

下载flannel配置文件

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml，这一步有时报错，想办法下载下来拷贝进去

因为kube-flannel.yml文件中使用的镜像为quay.io的，国内无法拉取，所以同样的先从国内源上下载，再修改tag，脚本如下

# vim flanneld.sh

#!/bin/bash

set -e

FLANNEL_VERSION=v0.11.0

# 在这里修改源

QUAY_URL=quay.io/coreos

QINIU_URL=quay-mirror.qiniu.com/coreos

images=(flannel:${FLANNEL_VERSION}-amd64

flannel:${FLANNEL_VERSION}-arm64

flannel:${FLANNEL_VERSION}-arm

flannel:${FLANNEL_VERSION}-ppc64le

flannel:${FLANNEL_VERSION}-s390x)

for imageName in ${images[@]} ; do

  docker pull $QINIU_URL/$imageName

  docker tag  $QINIU_URL/$imageName $QUAY_URL/$imageName

  docker rmi $QINIU_URL/$imageName

done

运行脚本，这个脚本需要在每个节点上执行

sh flanneld.sh

安装flanneld

kubectl apply -f kube-flanneld.yaml

flanneld默认安装在kube-system Namespace中，使用以下命令查看:

[root@master ~]# kubectl -n kube-system get pods

NAME                            READY  STATUS    RESTARTS  AGE

coredns-5644d7b6d9-ddfkf        1/1    Running  0          3h19m

coredns-5644d7b6d9-vzmlh        1/1    Running  0          3h19m

etcd-master                      1/1    Running  0          22m

kube-apiserver-master            1/1    Running  0          22m

kube-controller-manager-master  1/1    Running  0          21m

kube-flannel-ds-amd64-9swbr      1/1    Running  0          21m

kube-flannel-ds-amd64-9wcvs      1/1    Running  0          21m

kube-flannel-ds-amd64-k57gv      1/1    Running  0          81m

kube-proxy-6jn72                1/1    Running  0          3h19m

kube-proxy-7dhng                1/1    Running  0          21m

kube-proxy-gchl2                1/1    Running  0          21m

kube-scheduler-master            1/1    Running  0          22m

出现错误，原因是两个工作节点不能拉取pause和kube-proxy镜像，可以直接从master上打包，在node上使用

## master上执行

docker save -o pause.tar k8s.gcr.io/pause:3.1

docker save -o kube-proxy.tar k8s.gcr.io/kube-proxy

## node上执行

docker load -i pause.tar

docker load -i kube-proxy.tar

重新安装flanneld

kubectl delete -f kube-flannel.yml

kubectl create -f kube-flannel.yml

安装过程中碰到的几个错误

1， Docker升级后报错：Error response from daemon: client version 1.40 is too new. Maximum supported API version is 1.39

在/etc/profile和 ~/.bashrc 最后追加一个 export DOCKER_API_VERSION=1.39

vi /etc/profile  #结尾追加

export DOCKER_API_VERSION=1.39

source  /etc/profile  #使配置生效

2，kubeadm join 超时

节点执行如下命令

swapoff -a    # will turn off the swap

kubeadm reset

systemctl daemon-reload

systemctl restart kubelet

iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X  # will reset iptables

journalctl -xeu kubelet  可查看k8s的日志

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 211,884评论 6赞 492
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,347评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 157,435评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,509评论 1赞 284
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,611评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,837评论 1赞 290
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,987评论 3赞 408
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,730评论 0赞 267
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,194评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,525评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,664评论 1赞 340
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,334评论 4赞 330
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,944评论 3赞 313
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,764评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,997评论 1赞 266
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,389评论 2赞 360
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,554评论 2赞 349