NFS+keepalived+Sersync搭建nfs群集过程记录

参考：https://blog.csdn.net/qq_32488647/article/details/105386586?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-4
https://blog.csdn.net/qq_38026977/article/details/105247623?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
但原文一中有一些小缺漏，故在这里记录如下，以备日后参考
原理：本方案 NFS 的高可用方案，应用服务器为 Client ，两台文件服务器分别Master和 Slave，使用 keepalived 生成一个虚拟 IP，使用 Sersync 进行 Master 与 Slave 之间文件相互同步，确保高可用。
服务器表格：
Nfs-master: 172.20.10.80
Nfs-slave: 172.20.10.81
虚拟出VIP：172.20.10.82
Client: 172.20.10.20

准备工作

保持三台机关闭防火墙

# 在 Master 和 Slave 上创建共享目录
mkdir /data
# 在 Client 上创建挂载目录
mkdir /qiyuesuodata

安装 NFS 并配置

#在 Client 、Master 和 Slave 服务器上安装 NFS 服务
yum -y install nfs-utils rpcbind
# 在Master 上配置nfs
[root@nfs-master ~]# echo '/data 172.20.10.0/24(rw,sync,all_squash)' >> /etc/exports
# 开启服务
[root@nfs-master ~]# systemctl start rpcbind && systemctl start nfs
# 设置开机自启
[root@nfs-master ~]# systemctl enable rpcbind && systemctl enable nfs
# 在 Slave 上配置nfs
[root@nfs-slave ~]# echo '/data 172.20.10.0/24(rw,sync,all_squash)' >> /etc/exports
# 开启服务
[root@nfs-slave  ~]# systemctl start rpcbind && systemctl start nfs
# 设置开机自启
[root@nfs-slave ~]# systemctl enable rpcbind && systemctl enable nfs
# 在 Client 上执行挂载测试
[root@docker-app ~]# showmount -e 172.20.10.80
 [root@docker-app ~]# mount -t nfs 172.20.10.80:/data /qiyuesuodata
# 去除挂载
[root@docker-app ~]# umount /qiyuesuodata
# 再测试一下slave(81) ......

配置文件同步

rsync即远程同步，高效。和scp类似，不过rsync可以边复制，边统计、比较，而scp则不能。而sersync则可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录
1）在 Slave 配置rsync

# 安装 rsync
yum -y install rsync.x86_64
[root@nfs-slave ~]# cat /etc/rsyncd.conf
uid = nfsnobody
gid = nfsnobody
port = 873
pid file = /var/rsyncd.pid
log file = /var/log/rsyncd.log
use chroot = no
max connections = 200
read only = false
list = false
fake super = yes
ignore errors
[data]
path = /data
auth users = qiyuesuo
secrets file = /etc/rsync_salve.pass
hosts allow = 172.20.10.80
# 生成认证文件
echo 'qiyuesuo:qiyuesuo123' > /etc/rsync_salve.pass
chmod 600 /etc/rsync_salve.pass
# 修改 文件夹权限
chown -R nfsnobody:nfsnobody /data/
# 启动服务
 rsync --daemon --config=/etc/rsyncd.conf

2） 在 Slave 上配置自动同步（sersync）

 cd /usr/local/
 wget https://dl.qiyuesuo.com/private/nfs/sersync2.5.4_64bit_binary_stable_final.tar.gz
 tar xvf sersync2.5.4_64bit_binary_stable_final.tar.gz
 mv GNU-Linux-x86/ sersync
 cd sersync/
 # 修改配置文件
sed -ri '24s#<localpath watch="/opt/tongbu">#<localpath watch="/data">#g' confxml.xml
sed -ri '25s#<remote ip="127.0.0.1" name="tongbu1"/>#<remote ip="172.20.10.80" name="data"/>#g' confxml.xml
sed -ri '30s#<commonParams params="-artuz"/>#<commonParams params="-az"/>#g' confxml.xml
sed -ri '31s#<auth start="false" users="root" passwordfile="/etc/rsync.pas"/>#<auth start="true" users="qiyuesuo" passwordfile="/etc/rsync.pass"/>#g' confxml.xml
sed -ri '33s#<timeout start="false" time="100"/><!-- timeout=100 -->#<timeout start="true" time="100"/><!-- timeout=100 -->#g' confxml.xml
#  生成同步帐号
echo "qiyuesuo123" > /etc/rsync.pass
chmod 600 /etc/rsync.pass

#启动Sersync
/usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml

3）在 Master 配置rsync
与1）中基本相同，除了这3条（互相指向对方ip）
hosts allow = 172.20.10.80
secrets file = /etc/rsync_master.pass
认证文件名为/etc/rsync_master.pass
4）在 Master 上配置自动同步（sersync）
与2）中基本相同，除了这一条:
remote ip="172.20.10.81"

5）将两个服务加入自动启动，在master和slave两台机上执行

 chmod +x /etc/rc.d/rc.local
 vi   /etc/rc.d/rc.local  # 在末尾添加如下：
test -f /var/rsyncd.pid && rm -f /var/rsyncd.pid
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf
/usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml

注意：rsync服务一定要先于sersync2启动！

文件同步测试

到这里已经做好了双机的目录自动同步，可以分别在两台机的/data目录下试下新增、删除文件，看下是否保持一致。同步日志在/var/log/rsyncd.log中。
如果要单独测试rsync服务，可使用如下命令(在master上）

rsync -arv /data/  qiyuesuo@172.20.10.81::data --password-file=/etc/rsync.pass

安装 Keepalived

1）在 Master 上执行

yum -y install keepalived.x86_64
# 修改 /etc/keepalived/keepalived.conf
# 其中 enp0s3 为绑定网卡名称，可以使用 ip addr 命令查看
# 其中 192.168.50.143  为虚拟 ip ，注意不要和其它 ip 冲突
[root@nfs-master ~]# rm -f /etc/keepalived/keepalived.conf
[root@nfs-master ~]# vi  /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id NFS-Master
}

vrrp_script chk_nfs 
{
    script "/etc/keepalived/nfs_check.sh"    #监控脚本
    interval 2
    weight -20  # keepalived部署了两台所以设为20，如果三台就设为30
}

vrrp_instance VI_1 {
    state BACKUP    # 两台主机都设为backup非抢占模式
    interface enp0s3
    virtual_router_id 51
    priority 100
    advert_int 1
   nopreempt      # 设置为非抢占模式必须要该参数
    authentication {
        auth_type PASS
        auth_pass qiyuesuo123
    }
   track_script {
        chk_nfs
    }
    virtual_ipaddress {
        172.20.10.82/24
    }
} 
# 配置监控脚本
[root@k8s-nfs-Master ~]# cat << EOF | tee /etc/keepalived/nfs_check.sh  
#!/bin/bash
# 如果无法启动nfs服务，则退出keepalive群集
A=`ps -C nfsd --no-header | wc -l`
if [ $A -eq 0 ];then
        systemctl restart nfs-server.service
        sleep 2
        if [  `ps -C nfsd --no-header| wc -l` -eq 0 ];then
            pkill keepalived
        fi
fi

B=`ps -C sersync2 --no-header | wc -l`
C=`ip a|grep 53.150 | wc -l`
# NFS正常，sync2未启动，且是vip，则启动sync2
if [ $A -gt 0 -a $B -eq 0 -a $C -eq 1 ];then
   /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
   # echo “nfs-master,要启动sersync2!”
fi

# nfs正常，sync2已启动，但不是vip，则关闭sync2
if [[ $A -gt 0 && $B -gt 0 && $C -eq 0 ]]; then
   pkill sersync2
   # echo "nfs-slave,要关闭sersync2"
fi
EOF
[root@k8s-nfs-Master ~]# chmod +x /etc/keepalived/nfs_check.sh
# 启动服务
[root@nfs-master ~]# systemctl start  keepalived.service && systemctl enable keepalived.service

说明：在实践的过程中，发现双机同时互相同步可能会产生这样的问题：当A机新添加一个文件，而此时B机恰好开始向A机同步，则有可能会导致A机新加文件丢失，因此，监控脚本本采用了优化的同步策略：只有vip所在的这台机才会向另外一台机同步。因此，要注意在实际工作中，一定要连接到VIP进行操作，如果直连到slave机上对同步目录进行操作，是不会同步到master上的。
2）在 Slave上执行
与1）基本相同，除了以下几条：
router_id NFS-Slave
state BACKUP //主从结构中，除了master的state为MASTER外，其余节点都要设置为BACKUP
priority 80 //从节点的权重要比主节点低

查询vip及挂载测试

# 查看VIP落在哪台机上
# 在master或slave上执行
ip a |grep 82
# 到client上进行VIP挂载测试
[root@docker-app ~]# showmount -e 172.20.10.82
Export list for 172.20.10.82:
/data 172.20.10.0/24
mount -t nfs 172.20.10.82:/data /qiyuesuodata
umount /qiyuesuodata/
# 测试vip漂移
# 先在client上长ping 
[root@docker-app ~]# ping 172.20.10.82
PING 172.20.10.82 (172.20.10.82) 56(84) bytes of data.
64 bytes from 172.20.10.82: icmp_seq=1 ttl=64 time=0.188 ms ....
# 在 Master 上关闭 keepalived
systemctl stop keepalived.service
# 到client观察ping的结果或者到slave上查看ip....

设置 keepalived 脚本

因为 ip 的漂移是根据 keepalived 的存活来判断的，所以在 nfs 宕机之后需要手动停止 keepalived 服务来进行ip 的切换，这里在 Master 上编写一个定时任务来检测 nfs 服务是否宕机

[root@nfs-master ~]# vi /usr/local/sbin/check_nfs.sh
#!/bin/sh
# 每秒执行一次
step=1 #间隔的秒数，不能大于60 
for (( i = 0; i < 60; i=(i+step) )); do 
  ###检查nfs可用性：进程和是否能够挂载
  /sbin/service nfs status &>/dev/null
  if [ $? -ne 0 ];then
    ###如果服务状态不正常，先尝试重启服务
    /sbin/service nfs restart
    /sbin/service nfs status &>/dev/null
    if [ $? -ne 0 ];then
       # 如服务仍不正常，停止 keepalived
       systemctl stop keepalived.service
    fi
  fi
  sleep $step 
done 
# 加入定时任务
[root@nfs-master ~]# chmod 777 /usr/local/sbin/check_nfs.sh
[root@nfs-master ~]# crontab -e
# 输入定时任务
* * * * *  /usr/local/sbin/check_nfs.sh &> /dev/null

综合测试

# 先到client上写文件
[root@docker-app ~]# time dd if=/dev/zero of=/qiyuesuodata/testfile bs=800k count=1024
# 再立刻到master上停止nfs服务
[root@nfs-master ~]# service nfs stop
# 为有更好的效果，可以将脚本check_nfs.sh中的/sbin/service nfs restart这一行注释掉
# 再到client观察写文件的情况，最终会发现，相比正常情况，在切换过程中发生了文件丢失

原文中还有一个当 Master 宕机时进行重新挂载的clent上的脚本，在实践中发现可以不需要。
PS: 在实践过程中发现，sersync2+rsync+keepalived+nfs方式配置的nfs群集，对于简单的NFS应用可以，但对于海量的频繁更新的应用，如：elasticsearch，会出现大量同步操作不能及时完成的情况，此时若发生了VIP切换，则可能会造成应用的故障。因此，此时要考虑使用nfs+drbd+heatbeat/keepalived方式了。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 218,607评论 6赞 507
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 93,239评论 3赞 395
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 164,960评论 0赞 355
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,750评论 1赞 294
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,764评论 6赞 392
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,604评论 1赞 305
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,347评论 3赞 418
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,253评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,702评论 1赞 315
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,893评论 3赞 336
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,015评论 1赞 348
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,734评论 5赞 346
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,352评论 3赞 330
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,934评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,052评论 1赞 270
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 48,216评论 3赞 371
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,969评论 2赞 355