安装etcd集群

kuberntes 系统使用 etcd 存储所有数据,是最重要的组件之一,注意 etcd集群只能有奇数个节点(1,3,5...),本文档使用3个节点做集群。

一、基础环境

软件包

etcd下载地址:https://github.com/coreos/etcd/releases

服务器

天翼云3.0

架构图

二、生成etcd证书与私钥

创建etcd配置文件

{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "192.168.1.11",
    "192.168.1.12",
    "192.168.1.13",
    "etcd1",
    "etcd2",
    "etcd3"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "Ctyun",
      "OU": "ops"
    }
  ]
}

hosts:定授权使用该证书的 etcd 节点 IP(应包含集群内所有节点的IP与hostname)
C:国家
ST:省份
L:城市
O:公司
OU:部门

生成私钥、证书请求文件、证书

CA证书在前面的章节创建 Kubernetes证书相关(CFSSL)

cfssl gencert -ca=/opt/ssl/k8sca/ca.pem \
-ca-key=/opt/ssl/k8sca/ca-key.pem \
-config=/opt/ssl/k8sca/ca-config.json \
-profile=kubernetes /opt/ssl/etcd/etcd-csr.json | cfssljson -bare etcd

-ca:指定CA证书路径
-ca-key:指定CAKey的路径
-config:指定CA证书签署策略配置文件

二、启动和配置etcd

创建etcd配置文件etcd.conf,此配置文件是定义一些变量,方便etcd.service文件中直接引用、方便后期维护。
配置文件的所有含义都在创建etcd.service配置文件后有详解。

mkdir -p /etc/etcd
vim /etc/etcd/etcd.conf
# [member]
ETCD_NAME=etcd1
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.1.11:2380" 
ETCD_LISTEN_CLIENT_URLS="https://192.168.1.11:2379"
#[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.1.11:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.1.11:2379"

创建etcd.service配置文件

etcd.service的变量都是引用etcd配置文件中
--name

mkdir /var/lib/etcd
vim /usr/lib/systemd/system/etcd.service 
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos

[Service]
Type=notify
WorkingDirectory=${ETCD_DATA_DIR} 
EnvironmentFile=/etc/etcd/etcd.conf
ExecStart=/usr/local/bin/etcd \
  --name=etcd1 \
  --cert-file=/opt/ssl/etcd/etcd.pem \
  --key-file=/opt/ssl/etcd/etcd-key.pem \
  --peer-cert-file=/opt/ssl/etcd/etcd.pem \
  --peer-key-file=/opt/ssl/etcd/etcd-key.pem \
  --trusted-ca-file=/opt/ssl/k8sca/ca.pem \
  --peer-trusted-ca-file=/opt/ssl/k8sca/ca.pem \
  --initial-advertise-peer-urls=${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
  --listen-peer-urls=${ETCD_LISTEN_PEER_URLS} \
  --listen-client-urls=${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
  --advertise-client-urls=${ETCD_ADVERTISE_CLIENT_URLS} \
  --initial-cluster-token=${ETCD_INITIAL_CLUSTER_TOKEN} \
  --initial-cluster etcd1=https://192.168.1.11:2380,etcd2=https://192.168.1.12:2380,etcd3=https://192.168.1.13:2380 \
  --initial-cluster-state=new \
  --data-dir=/var/lib/etcd
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

--initial-cluster:集群当中的其他节点
--cert-file:etcd证书路径
--key-file:etcd私钥路径
--peer-cert-file:对等证书(双向证书)路径
--peer-key-file:对等证书(双向证书)私钥路径
--trusted-ca-file:作为客户端时的CA证书路径
--peer-trusted-ca-file:对等证书的CA证书路径
--initial-advertise-peer-urls:列出集群成员通信的URL,用于通告集群其他成员
--listen-peer-urls:用于监听集群其他成员的URL列表
--listen-client-urls:用于监听客户端通讯的URL列表
--advertise-client-urls:通告客户端的URL,用于列出所有客户端
--initial-cluster-token:etcd集群的初始集群令牌,服务器必须通过令牌才能加入etcd集群

启动etcd集群

集群所有节点都配置好配置文件,同时启动

systemctl daemon-reload && systemctl enable etcd && systemctl start etcd

不使用变量的配置方法

前面分别创建了/etc/etcd/etcd.conf/var/lib/systemd/system/etcd.service两个配置文件,且etcd.service引用了etcd.conf重定义的变量。

如若不想引用变量,可以不写etcd.conf。仅创建etcd.service如下
注意除--initial-cluster参数外其他参数应是自己的IP地址

[root@etcd1 k8sca]# cat /usr/lib/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
ExecStart=/usr/local/bin/etcd \
  --name etcd1 \
  --cert-file=/opt/ssl/etcd/etcd.pem \
  --key-file=/opt/ssl/etcd/etcd-key.pem \
  --peer-cert-file=/opt/ssl/etcd/etcd.pem \
  --peer-key-file=/opt/ssl/etcd/etcd-key.pem \
  --trusted-ca-file=/opt/ssl/k8sca/ca.pem \
  --peer-trusted-ca-file=/opt/ssl/k8sca/ca.pem \
  --initial-advertise-peer-urls=https://192.168.1.11:2380 \
  --listen-peer-urls=https://192.168.1.11:2380 \
  --listen-client-urls=https://192.168.1.11:2379,http://127.0.0.1:2379 \
  --advertise-client-urls=https://192.168.1.11:2379 \
  --initial-cluster-token=etcd-cluster-0 \
  --initial-cluster etcd1=https://192.168.1.11:2380,etcd2=https://192.168.1.12:2380,etcd3=https://192.168.1.13:2380 \
  --initial-cluster-state=new \
  --data-dir=/var/lib/etcd
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

三、测试集群状态

集群中所有主机配置均一致,仅IP地址不同。

$ etcdctl --ca-file=/opt/ssl/k8sca/ca.pem --cert-file=/opt/ssl/etcd/etcd.pem --key-file=/opt/ssl/etcd/etcd-key.pem cluster-health
member aa869cb0f2e7ed31 is healthy: got healthy result from https://192.168.1.11:2379
member b08a644fd7247c5e is healthy: got healthy result from https://192.168.1.13:2379
member bb9bd2baaebf7d95 is healthy: got healthy result from https://192.168.1.12:2379

常见问题

  • publish error: etcdserver: request timed out
    我部署时先使用一台进行测试,无论如何启动etcd都无法启动,提示publish error: etcdserver: request timed out。后来发现etcd.service中制定了其他etcd主机,所以当单独启动一台是连接其他主机不通,那么etcd就启动失败。所以要把etcd集群中所有主机都配置好,同时启动就OK了。

  • 启动etcd失败
    启动etcd失败通过journalctl -xr显示/usr/local/bin/etcd: No such file or directory再次确认/usr/local/bin/etcd存在且有权限,确认WorkingDirectory=/var/lib/etcd/指定的路径存在

  • etcd监听端口失败
    启动etcd提示listen tcp 192.168.1.11:2380: bind: cannot assign requested address,请检查除--initial-cluster参数外其他参数应是自己的IP地址是否正确。检查--name=是否重复

参考

http://blog.51cto.com/sgk2011/2108542
https://github.com/gjmzj/kubeasz/blob/master/docs/setup/02-install_etcd.md
https://blog.csdn.net/qq_33199919/article/details/80623055
https://skyao.gitbooks.io/learning-etcd3/content/

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,347评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,435评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,509评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,611评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,837评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,987评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,730评论 0 267
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,194评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,525评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,664评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,334评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,944评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,764评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,997评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,389评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,554评论 2 349