1. Sersync工具介绍
Sersync项目利用Inotify与Rsync技术实现对服务器数据实时复制的解决方案，其中Inotify用于监控Sersync所在服务器上文件系统的事件变化，当事件发生变化时就调用rsync命令将变化的数据复制到远端服务器上。
Sersync项目的特点如下：
- 使用C++编写，支持对监控事件的过滤功能。
- Sersync采用XML配置文件，然后由守护进程启动，配置起来比Inotify-tools更简单。
- 使用多线程进行复制，即可以并发复制多个不同文件。
- Sersync自带出错处理机制，通过失败队列对出错的文件重新进行复制。
- Sersync自带crontab功能，可实现对失败队列中的文件定时整体复制。
- Sersync自带socket与HTTP的协议扩展，可以满足有特殊需求的公司二次开发。
2. Sersync软件架构及工作原理
下图为Sersync软件架构及工作原理图，通过此图可以更直观地了解Sersync的工作情况。
Sersync软件架构及工作原理图
上图所示的过程可概括如下：
1）Inotify监控指定目录对应事件的变化，当有事件变化时进入事件过程队列。
2）过滤队列负责过滤不需要复制的数据，也可以过滤短时间内产生的重复Inotify事件信息，过滤后的事件触发Rsync对变化数据执行复制。
3）图中线程组线程是等待线程队列的守护进程，当事件队列中有事件发生的时候，线程组守护线程就会逐个唤醒复制线程，当队列中Inotify事件较多的时候，复制线程就会被全部唤醒一起工作，以提升复制的效率。
4）除了线程组线程外，还有Sersync服务线程负责处理复制失败的文件，将它们再次复制，对于再次复制失败的文件（命令）记录到rsync_fail_log.sh脚本，然后定期再执行脚本，同时利用自带的cron功能，实现每隔一段时间将所有未复制的数据再进行整体复制。
3. Sersync+Rsync实时复制方案项目实践
Sersync软件借鉴了早期开发的Inotify机制和工具，加强了人性化使用和功能，如实时监控、文件过滤、配置文件、执行命令、socket、刷新CDN等功能，帮助用户提高运行效率，节省时间和网络资源，Service是国人开发的开源软件。
4. Sersync软件程序部署
4.1 Sersync部署环境准备
（1）确保远程数据传输服务器部署完成
大前提是Rsync Daemon服务配置成功，可以在Rsync客户端推送和拉取数据，然后才能配置Inotify服务。检查是否已经配置好Rsync服务，并且能在客户端推送和拉取数据信息的命令如下：
[root@nfs01 ~]# rsync -avz --delete /data/ rsync_backup@192.168.9.5::backup/
sending incremental file list
sent 158 bytes received 452 bytes 58.10 bytes/sec
total size is 0 speedup is 0.00
# 上面提示信息说明是成功状态。
（2）检查当前系统NFS01是否支持Inotify实时监控
通过检查/proc/sys/fs/inotify目录中是否存在以下3个文件，可以确认系统是否支持实时监控程序。
[root@nfs01 ~]# uname -r
3.10.0-957.el7.x86_64
[root@nfs01 ~]# ll /proc/sys/fs/inotify/
总用量 0
-rw-r--r-- 1 root root 0 3月 8 17:20 max_queued_events
-rw-r--r-- 1 root root 0 3月 8 17:19 max_user_instances
-rw-r--r-- 1 root root 0 3月 8 17:19 max_user_watches
说明：显示这3个文件，则证明系统支持Inotify程序功能。
4.2 Sersync程序部署安装
（1）Sersync软件包安装
[root@nfs01 ~]# cd /server/tools/
[root@nfs01 tools]# ll
总用量 712
-rw-r--r-- 1 root root 727290 3月 10 2020 sersync_64bit_binary_stable_final.tar.gz ---准备好安装包
[root@nfs01 tools]# tar zxvf sersync_64bit_binary_stable_final.tar.gz -C /usr/local/
GNU-Linux-x86/
GNU-Linux-x86/sersync2
GNU-Linux-x86/confxml.xml
[root@nfs01 tools]# cd /usr/local/
[root@nfs01 local]# mv GNU-Linux-x86 sersync
[root@nfs01 local]# cd sersync/
[root@nfs01 sersync]# cp confxml.xml confxml.xml.$(date +%F)
（2）Sersync配置文件信息说明
根据实际情况，按照说明的部分进行修改对应配置。
[root@nfs01 sersync]# cat -n confxml.xml
1 <?xml version="1.0" encoding="ISO-8859-1"?>
2 <head version="2.5">
3 <host hostip="localhost" port="8008"></host>
4 <debug start="false"/>
5 <fileSystem xfs="false"/>
<!--sersync软件的过滤功能：排除指定的文件不进行复制-->
6 <filter start="false">
7 <exclude expression="(.*)\.svn"></exclude>
8 <exclude expression="(.*)\.gz"></exclude>
9 <exclude expression="^info/*"></exclude>
10 <exclude expression="^static/*"></exclude>
11 </filter>
<!--sersync软件的过滤功能结束-->
<!--sersync软件监控指定事件信息：表示触发监控管理的事件-->
12 <inotify>
13 <delete start="true"/> <!--删除事件，true表示开启-->
14 <createFolder start="true"/>
15 <createFile start="false"/>
16 <closeWrite start="true"/> <!--关闭写事件，true表示开启-->
17 <moveFrom start="true"/>
18 <moveTo start="true"/>
19 <attrib start="false"/>
20 <modify start="false"/>
21 </inotify>
22
<!--Sersync软件监控指定事件信息结束-->
<!--Sersync主要参数信息配置开始-->
23 <sersync>
24 <localpath watch="/data">
25 <remote ip="192.168.9.5" name="backup"/>
<!--Rsync服务器IP及模块名backup-->
26 <!--<remote ip="192.168.8.39" name="tongbu"/>-->
27 <!--<remote ip="192.168.8.40" name="tongbu"/>-->
<!--支持复制到多台服务器-->
28 </localpath>
29 <rsync> <!--配置Rsync服务参数信息开始-->
30 <commonParams params="-artuz"/> <!--rsync命令的参数-->
31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/> <!--认证用户和密码文件-->
32 <userDefinedPort start="false" port="874"/><!-- port=874 --> <!--支持修改端口-->
33 <timeout start="false" time="100"/><!-- timeout=100 --> <!--超时参数-->
34 <ssh start="false"/> <!--支持SSH通道-->
35 </rsync> <!--配置Rsync服务参数部分结束-->
36 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<!--默认每60分钟执行一次-->
37 <crontab start="false" schedule="600"><!--600mins-->
<!--定时任务复制部分-->
38 <crontabfilter start="false">
39 <exclude expression="*.php"></exclude>
40 <exclude expression="info/*"></exclude>
41 </crontabfilter>
42 </crontab>
43 <plugin start="false" name="command"/>
44 </sersync> <!--Sersync主要参数信息配置结束-->
45
46 <plugin name="command"> <!--命令部分配置-->
47 <param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
48 <filter start="false">
49 <include expression="(.*)\.php"/>
50 <include expression="(.*)\.sh"/>
51 </filter>
52 </plugin>
53
54 <plugin name="socket"> <!--socket部分配置-->
55 <localpath watch="/opt/tongbu">
56 <deshost ip="192.168.138.20" port="8009"/>
57 </localpath>
58 </plugin>
59 <plugin name="refreshCDN"> <!--刷新CDN部分配置-->
60 <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
61 <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
62 <sendurl base="http://pic.xoyo.com/cms"/>
63 <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
64 </localpath>
65 </plugin>
66 </head>
实时复制配置文件中包含Rsync推送部分配置，可以参照下图理解和记忆Sersync的配置文件。
Sersync配置文件与执行rsync命令对比图
4.3 Sersync部署应用操作
（1）sersync命令的参数
通过sersync -h命令即可获取Sersync软件命令相关参数，说明如下所示。
[root@nfs01 sersync]# /usr/local/sersync/sersync2 -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________
（2）Sersync软件服务开启命令
Sersync软件服务开启命令说明如下：
[root@nfs01 sersync]# /usr/local/sersync/sersync2 -r -d -o /usr/local/sersync/confxml.xml
特别说明：Sersync启动后，默认监控目录事件被触发后，采用无差异复制方式进行复制。也可以省略-o参数，/usr/local/sersync/sersync2 -r -d，如果有大量数据文件，建议人工拷贝，而不是使用-r启动时复制。
[root@nfs01 ~]# tail -1 /etc/rc.local
/usr/local/sersync/sersync2 -d ---放入开机自启动。
（3）Sersync软件支持同时启动多进程监控不同目录
Sersync软件实现多进程监控不同目录的命令如下：
[root@nfs01 sersync]# /usr/local/sersync/sersync2 -r -d -o ./confxml_dir_data.xml
[root@nfs01 sersync]# /usr/local/sersync/sersync2 -r -d -o ./confxml_dir_log.xml
[root@nfs01 sersync]# /usr/local/sersync/sersync2 -r -d -o ./confxml_dir_conf.xml
[root@nfs01 sersync]# /usr/local/sersync/sersync2 -r -d -o ./confxml_dir_backup.xml
说明：Sersync启动指定多个配置文件，实现同时监控多个目录，配置文件需要事先创建并配置好。
（4）Sersync部署测试
# NFS01上创建文件。
[root@nfs01 ~]# cd /data/
[root@nfs01 data]# touch oldboy{1..3}.txt
[root@nfs01 data]# ls
oldboy1.txt oldboy2.txt oldboy3.txt
# BACKUP上查看。
[root@backup backup]# ls /backup/
oldboy1.txt oldboy2.txt oldboy3.txt
测试成功，至此，Sersync的服务部署完成。
Sersync执行推送的命令实质为如下命令：
cd /data && rsync -aryuz -R --timeout=100 "./文件" rsync_backup@192.168.9.5::backup --password-file=/etc/rsync.password >/dev/null 2>&1
因此，在推送时不会推送data目录到服务器的backup目录下，有可能会合集群架构中其他备份文件混淆，在工作中，在做NFS01实时复制时，可以开启新目录、新模块作为实时复制的目录。
4.4 实现使用systemctl命令管理Sersync
1）编写简易Sersync服务启动停止脚本：
[root@nfs01 sersync]# vim /etc/rc.d/init.d/sersync
#!/bin/bash
#chkconfig: 2345 21 81
#description:rsync service start and stop scripts
#Author: zheng
start(){
/usr/local/sersync/sersync2 -d -o /usr/local/sersync/confxml.xml &> /dev/null
}
stop(){
killall sersync 2>/dev/null
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
sleep 2
start
;;
*)
echo $"Usage:$0 {start|stop|restart}"
exit 1
esac
[root@nfs01 sersync]# chmod +x /etc/rc.d/init.d/sersync
[root@nfs01 sersync]# ll /etc/rc.d/init.d/sersync
-rwxr-xr-x 1 root root 380 3月 11 16:36 /etc/rc.d/init.d/sersync
2）配置sersync.service，命令如下：
[root@nfs01 sersync]# vim /usr/lib/systemd/system/sersync.service
[Unit]
Description=sersyncd sercice
After=network.target
[Service]
Type=forking
ExecStart=/etc/rc.d/init.d/sersync start
ExecReload=/etc/rc.d/init.d/sersync restart
ExecStop=/etc/rc.d/init.d/sersync stop
PrivateTmp=true
[Install]
WantedBy=multi-user.target
[root@nfs01 sersync]# chmod +x /usr/lib/systemd/system/sersync.service
[root@nfs01 sersync]# ll /usr/lib/systemd/system/sersync.service
-rwxr-xr-x 1 root root 259 3月 11 16:44 /usr/lib/systemd/system/sersync.service
3）激活开机启动并测试启动、停止管理功能，具体命令如下：
[root@nfs01 sersync]# systemctl enable sersync.service
Created symlink from /etc/systemd/system/multi-user.target.wants/sersync.service to /usr/lib/systemd/system/sersync.service.
[root@nfs01 sersync]# systemctl start sersync
[root@nfs01 sersync]# systemctl stop sersync
[root@nfs01 sersync]# ps -ef | grep sersync | grep -v grep
[root@nfs01 sersync]# systemctl start sersync
[root@nfs01 sersync]# ps -ef | grep sersync | grep -v grep
root 7984 1 0 17:00 ? 00:00:00 /usr/local/sersync/sersync2 -d -o /usr/local/sersync/confxml.xml
[root@nfs01 sersync]# systemctl status sersync
● sersync.service - sersyncd sercice
Loaded: loaded (/usr/lib/systemd/system/sersync.service; enabled; vendor preset: disabled)
Active: active (running) since 三 2020-03-11 17:00:43 CST; 25s ago
Process: 7949 ExecStop=/etc/rc.d/init.d/sersync stop (code=killed, signal=TERM)
Process: 7980 ExecStart=/etc/rc.d/init.d/sersync start (code=exited, status=0/SUCCESS)
Main PID: 7984 (sersync2)
CGroup: /system.slice/sersync.service
└─7984 /usr/local/sersync/sersync2 -d -o /usr/local/sersync/confxml.xml
3月 11 17:00:42 nfs01 systemd[1]: Starting sersyncd sercice...
3月 11 17:00:43 nfs01 systemd[1]: Started sersyncd sercice.
