NFS (Kubernetes) 高可用方案（NFS+keepalived+Sersync).md

简介

本方案 NFS 的高可用方案，客户端为 k8s集群 ，三台文件服务器分别Master和 Slave，使用 keepalived 生成一个虚拟 IP，使用 Sersync 进行 Master 与 Slave 之间文件相互同步，确保高可用。

角色 系统 IP
虚拟IP 172.12.17.200
Client k8s集群 172.12.17.163,172.12.17.164,172.12.17.165
Master centos 7.5 172.12.17.166
Slave centos 7.5 172.12.17.167

查看内核版本

uname -smr
建议升级到最新的长期支持版本 升级内核

安装nfs

在master和slave上面创建共享目录

mkdir -p /fs/nsf-data

在master和slave上安装nfs服务

// 下载nfs
yum -y install nfs-utils rpcbind
//写入配置（配置要改动需要reload nfs 服务）
echo '/fs/nsf-data 172.12.17.163 172.12.17.164 172.12.17.165(rw,sync,all_squash)' >> /etc/exports
//开启服务
systemctl start rpcbind && systemctl start nfs
//设置开机自启动
systemctl enable rpcbind && systemctl enable nfs

在k8s集群里面找个node 测试是否能链接上nfs服务

// 下载nfs
yum -y install nfs-utils rpcbind

// 挂载目录
mkdir /test-nsf-data

// 挂载nfs
mount -t nfs 172.12.17.166:/fs/nsf-data /test-nsf-data

//查看
df -TH
输出里面含有  172.12.17.166:/fs/nsf-data nfs4       53G  4.9G   46G  10% /test-nsf-data

//卸载挂载
umount /test-nsf-data

//检查 nfs 服务器端是否有设置共享目录 showmount -e $(nfs服务器的IP)
showmount -e 172.12.17.166
输出 Export list for 172.12.17.166:
/fs/nsf-data 10.255.22.92,10.255.22.91,10.255.22.90

Sersync 在 Slave 进行同步 Master 数据

Sersync

  • 提到数据同步就必然会谈到rsync，一般简单的服务器数据传输会使用ftp/sftp等方式，但是这样的方式效率不高，不支持差异化增量同步也不支持实时传输。针对数据实时同步需求大多数人会选择rsync+inotify-tools的解决方案，但是这样的方案也存在一些缺陷，sersync是国人基于前两者开发的工具，不仅保留了优点同时还强化了实时监控，文件过滤，简化配置等功能，帮助用户提高运行效率，节省时间和网络资源。

在Slave上编辑配置文件

vim /etc/rsyncd.conf

# 设置rsync运行权限为root
uid = root
# 设置rsync运行权限为root
gid = root
# 默认端口
port = 873
# pid文件的存放位置
pid file = /var/rsyncd.pid
# 日志文件位置，启动rsync后自动产生这个文件，无需提前创建
log file = /var/log/rsyncd.log
# 默认为true，修改为no，增加对目录文件软连接的备份
use chroot = no
# 最大连接数
max connections = 200
# 设置rsync服务端文件为读写权限
read only = no
# 不显示rsync服务端资源列表 
list = false
fake super = yes
ignore errors
[data]
# rsync服务端数据目录路径
path = /fs/nsf-data
# 执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
auth users = root
# 用户认证配置文件，里面保存用户名称和密码，后面会创建这个文件
secrets file = /etc/rsync_slave.pass
# 允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
hosts allow = 172.12.17.166
# 禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
#hosts deny = 192.168.0.1

在Slave上安装启动

yum install rsync
echo 'root:123456' > /etc/rsync_slave.pass
chmod 600 /etc/rsync_slave.pass
chown -R root:root /fs/nsf-data
rsync --daemon --config=/etc/rsyncd.conf

在 Master 上测试下

yum -y install rsync
chown -R root:root /fs/nsf-data
echo "123456" > /etc/rsync_slave.pass
chmod 600 /etc/rsync_slave.pass
// 创建测试文件,测试推送
cd /fs/nsf-data
echo "test" > slave.txt
rsync -arv /fs/nsf-data/ root@172.12.17.167::data --password-file=/etc/rsync_slave.pass
#在 slave 上测试
ls /fs/nsf-data
# 出现 slave.txt 即可

在 Master 上配置自动同步安装

// 下载
wget https://raw.githubusercontent.com/orangle/sersync/master/release/sersync2.5.4_64bit_binary_stable_final.tar.gz
// 解压
tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz  
// 移动目录到 /usr/local/sersync
mv GNU-Linux-x86  /usr/local/sersync

在 Master 上配置自动同步配置

cd /usr/local/sersync/ && vim /usr/local/sersync/confxml.xml
修改配置文件里面节点数据

<delete start="flase"/>

#源服务器同步目录
<localpath watch="/fs/nsf-data/">  

#remote ip="172.12.17.167"  #目标服务器ip，每行一个 
#name="data"   目标服务器rsync同步目录模块名称
<remote ip="172.12.17.167" name="data"/> 

#rsync同步认证
#start="true"   
#users="root" 目标服务器rsync同步用户名
#passwordfile="/etc/rsync_slave.pass" 目标服务器rsync同步用户的密码在源服务器的存放路径
<auth start="true" users="root" passwordfile="/etc/rsync_slave.pass"/>

# 设置rsync远程服务端口，远程非默认端口则需打开自定义
<userDefinedPort start="false" port="873"/><!-- port=874 -->

#脚本运行失败日志记录
failLog path="/tmp/rsync_fail_log.sh"

启动

./sersync2 -r -d -o confxml.xml
// 测试
cd /fs/nsf-data
touch Slave1.txt
// 在 Slave 里面 /fs/nsf-data 里面去看看数据是否存在

在Master上的数据可以同步到Slave，如何Master挂掉后恢复不能同步数据到Slave，这里也同样配置Master到Slave的自动同步

在Slave上编辑配置文件

vim /etc/rsyncd.conf

# 设置rsync运行权限为root
uid = root
# 设置rsync运行权限为root
gid = root
# 默认端口
port = 873
# pid文件的存放位置
pid file = /var/rsyncd.pid
# 日志文件位置，启动rsync后自动产生这个文件，无需提前创建
log file = /var/log/rsyncd.log
# 默认为true，修改为no，增加对目录文件软连接的备份
use chroot = no
# 最大连接数
max connections = 200
# 设置rsync服务端文件为读写权限
read only = no
# 不显示rsync服务端资源列表 
list = false
fake super = yes
ignore errors
[data]
# rsync服务端数据目录路径
path = /fs/nsf-data
# 执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
auth users = root
# 用户认证配置文件，里面保存用户名称和密码，后面会创建这个文件
secrets file = /etc/rsync_slave.pass
# 允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
hosts allow = 172.12.17.167
# 禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
#hosts deny = 192.168.0.1

在Master上安装启动

yum install rsync
echo 'root:123456' > /etc/rsync_master.pass
chmod 600 /etc/rsync_master.pass
chown -R root:root /fs/nsf-data
rsync --daemon --config=/etc/rsyncd.conf

在 Slave 上测试下

yum -y install rsync
chown -R root:root /fs/nsf-data
echo "123456" > /etc/rsync_master.pass
chmod 600 /etc/rsync_master.pass
// 创建测试文件,测试推送
cd /fs/nsf-data
echo "test" > master.txt
rsync -arv /fs/nsf-data/ root@172.12.17.166::data --password-file=/etc/rsync_master.pass
#在 Master 上测试
ls /fs/nsf-data
# 出现 master.txt 即可

在 Slave 上配置自动同步安装

// 下载
wget https://raw.githubusercontent.com/orangle/sersync/master/release/sersync2.5.4_64bit_binary_stable_final.tar.gz
// 解压
tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz  
// 移动目录到 /usr/local/sersync
mv GNU-Linux-x86  /usr/local/sersync

在 Slave 上配置自动同步配置

cd /usr/local/sersync/ && vim /usr/local/sersync/confxml.xml
修改配置文件里面节点数据

<delete start="flase"/>

#源服务器同步目录
<localpath watch="/fs/nsf-data/">  

#remote ip="172.12.17.166"  #目标服务器ip，每行一个 
#name="data"   目标服务器rsync同步目录模块名称
<remote ip="172.12.17.166" name="data"/> 

#rsync同步认证
#start="true"   
#users="root" 目标服务器rsync同步用户名
#passwordfile="/etc/rsync_master.pass" 目标服务器rsync同步用户的密码在源服务器的存放路径
<auth start="true" users="root" passwordfile="/etc/rsync_master.pass"/>

# 设置rsync远程服务端口，远程非默认端口则需打开自定义
<userDefinedPort start="false" port="873"/><!-- port=874 -->

#脚本运行失败日志记录
failLog path="/tmp/rsync_fail_log.sh"

启动

./sersync2 -r -d -o confxml.xml
// 测试
cd /fs/nsf-data
touch Master1.txt
// 在 Slave 里面 /fs/nsf-data 里面去看看数据是否存在

安装 Keepalived在Master上执行

yum -y install keepalived
vim /etc/keepalived/keepalived.conf
# 其中 eth0 为绑定网卡名称，可以使用 ip addr 命令查看
# 其中 172.12.17.200  为虚拟 ip ，注意不要和其它 ip 冲突
! Configuration File for keepalived
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    # 虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识。
    # 即同一vrrp_instance下，MASTER和BACKUP必须是一致的
    virtual_router_id 51
    # 定义优先级，数字越大，优先级越高（0-255）。
    # 在同一个vrrp_instance下，MASTER 的优先级必须大于 BACKUP 的优先级
    priority 150
    # 设定 MASTER 与 BACKUP 负载均衡器之间同步检查的时间间隔，单位是秒
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        172.12.17.200/24 brd 172.12.17.255
    }
}

安装 Keepalived在Slave上执行

yum -y install keepalived
vim /etc/keepalived/keepalived.conf
# 其中 eth0 为绑定网卡名称，可以使用 ip addr 命令查看
# 其中 172.12.17.200  为虚拟 ip ，注意不要和其它 ip 冲突
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    # 虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识。
    # 即同一vrrp_instance下，MASTER和BACKUP必须是一致的
    virtual_router_id 51
    # 定义优先级，数字越大，优先级越高（0-255）。
    # 在同一个vrrp_instance下，MASTER 的优先级必须大于 BACKUP 的优先级
    priority 100
    # 设定 MASTER 与 BACKUP 负载均衡器之间同步检查的时间间隔，单位是秒
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        172.12.17.200/24 brd 172.12.17.255
    }
}

启动服务

systemctl start keepalived.service && systemctl enable keepalived.service

测试

在 Master上
ip a | grep  172.12.17.200
有输出：    inet 172.12.17.200/32 scope global eth0
在 Slave上
ip a | grep  172.12.17.200
无输出：

关闭Master上keepalived测试IP是否更换

在 Master上
systemctl stop keeplived

在 Slave上
ip a | grep  172.12.17.200
有输出：    inet 172.12.17.200/32 scope global eth0
自动切换成功

在k8s集群里面找个node 测试是否能链接上nfs服务

// 挂载目录
mkdir /test-nsf-data-200
// 挂载nfs
mount -t nfs 172.12.17.200:/fs/nsf-data /test-nsf-data-200
//查看
df -TH
输出里面含有  172.12.17.200:/fs/nsf-data nfs4       53G  4.9G   46G  10% /test-nsf-data-200
//卸载挂载
umount /test-nsf-data-200

在安装Keepalived的机器上设置 Keepalived 脚本

ip 的漂移是根据 Keepalived 的存活来判断的，所以在 nfs 挂之后需要停止 keepalived 服务

echo 'systemctl status nfs &>/dev/null
if [ $? -ne 0 ]; then
  systemctl start nfs
  systemctl status nfs &>/dev/null
  if [ $? -ne 0 ]; then
    systemctl stop keepalived.service
  fi
fi' >> /usr/local/sbin/task_nfs.sh

加入定时任务

chmod 777 /usr/local/sbin/task_nfs.sh
crontab -e
# 添加定时任务 5秒执行一次
* * * * * sleep 5;/usr/local/sbin/task_nfs.sh &> /dev/null
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 212,294评论 6赞 493
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,493评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 157,790评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,595评论 1赞 284
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,718评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,906评论 1赞 290
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,053评论 3赞 410
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,797评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,250评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,388评论 4赞 332
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,018评论 3赞 316
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1赞 266
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2赞 360
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2赞 350

推荐阅读更多精彩内容