一、为什么要用Rsync+sersync架构?
1、sersync是基于Inotify开发的,类似于Inotify-tools的工具
2、sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录。
二、Rsync+Inotify-tools与Rsync+sersync这两种架构有什么区别?
1、Rsync+Inotify-tools
(1):Inotify-tools只能记录下被监听的目录发生了变化(包括增加、删除、修改),并没有把具体是哪个文件或者哪个目录发生了变化记录下来;
(2):rsync在同步的时候,并不知道具体是哪个文件或者哪个目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此,效率很低。
2、Rsync+sersync
(1):sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字;
(2):rsync在同步的时候,只同步发生变化的这个文件或者这个目录(每次发生变化的数据相对整个同步目录数据来说是很小的,rsync在遍历查找比对文件时,速度很快),因此,效率很高。
小结:当同步的目录数据量不大时,建议使用Rsync+Inotify-tools;当数据量很大(几百G甚至1T以上)、文件很多时,建议使用Rsync+sersync。
环境:
源端:192.168.72.134 rsync-server
目标端:192.168.72.135 rsync-client
#############################目标端服务器配置###################################
一、在目标服务器上安装Rsync服务器(192.168.72.135)
1,关闭selinux
# vi /etc/selinux/config
SELINUX=disabled
# setenforce 0
2,关闭防火墙
# systemctl stop firewalld.service
3,安装rsync服务端软件
# yum install rsync xinetd
# vi /etc/rc.d/rc.local # 设置开机启动
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf
# systemctl start xinetd #启动xinetd
4,创建rsyncd.conf 配置文件
# vi /etc/rsyncd.conf
uid = mysql #uid 运行RSYNC守护进程的用户;基于后面要做mysql恢复方便,使用同一用户
gid = myql #运行RSYNC守护进程的组
use chroot = no #如果"use chroot"指定为true,那么rsync在传输文件以前首先chroot到path参数所 指定的目录下。这样做的原因是实现额外的安全防护,但是缺点是需要以roots权限,并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true。
max connections = 4 #最大连接数,0不限制
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
motd file = /etc/rsyncd.Motd
transfer logging = yes
refuse options = delete #源端删除数据,客户端不执行删除操作
fake super = yes #使rsync进程用户root权限,可以复制文件
[backup]
path = /app/mysql/backup/4771
comment = A directory in which data is stored
ignore errors = yes
read only = no
hosts allow = 10.129.24.105/24
secrets file = /etc/rsync.pass # 密码文件
auth users = mysql #允许访问的用户,必须是密码文件中的
5,创建用户认证文件
# vi /etc/rsync.pass
mysql:mysql12345 # 格式为 用户名:密码
6,设置文件权限
chmod 600 /etc/rsyncd.conf
chmod 600 /etc/rsync.pass
7 ,启动rsync 和xinetd
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf
systemctl start xinetd
##############################源服务器配置#####################################
1,关闭selinux
# vi /etc/selinux/config
SELINUX=disabled
# setenforce 0
2,关闭防火墙
# systemctl stop firewalld.service
3,安装rsync客户端软件
# yum install rsync xinetd
# vi /etc/rc.d/rc.local # 配置开机启动
/usr/bin/rsync --daemon
systemctl start xinetd
4, 创建认证密码文件
# vi /etc/passwd.txt
mysql12345
# chmod 600 /etc/passwd.txt
5,测试源服务器到目标服务器之间同步
rsync -avH --bwlimit=30000 --port=873 --progress /data/mysql/backup/4771/ mysql@10.129.213.46::backup --password-file=/etc/passwd.txt
--bwlimit 限速 kb/s
运行完成后,在目标服务器检查/etc/rsyncd.conf 配置的PATH目录是否有数据,如果有则同步成功。
二,安装sersync工具,实时触发rsync进行同步
1、查看服务器内核是否支持inotify
$ ll /proc/sys/fs/inotify# 列出文件目录,出现下面的内容,说明服务器内核支持inotify
total0
-rw-r--r--1root root0Mar2013:21max_queued_events
-rw-r--r--1root root0Mar2011:14max_user_instances
-rw-r--r--1root root0Mar2013:21max_user_watches
备注:Linux下支持inotify的内核最小为2.6.13,可以输入命令:#uname -a查看内核
CentOS 7.0内核为3.10.0,默认已经支持inotify
2、修改inotify默认参数(inotify默认内核参数值太小) 修改参数:
# sysctl -w fs.inotify.max_queued_events="99999999"
# sysctl -w fs.inotify.max_user_watches="99999999"
# sysctl -w fs.inotify.max_user_instances="65535"
# vi /etc/sysctl.conf#添加以下代码
fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535
3、安装sersync
sersync下载地址:https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz
# tar zxvfsersync2.5.4_64bit_binary_stable_final.tar.gz#解压
# mv GNU-Linux-x86 /usr/local/sersync
4, 创建rsync
cd /usr/local/sersync#进入sersync安装目录
# cp confxml.xml confxml.xml-bak #备份原文件
# cp confxml.xml data_configxml.xml # 复制用于同步data目录的文件
5 ,修改配置文件
--------------------------------- data 配置 -------------------------------------------
6, 启动服务
# /usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/data_confxml.xml
在源服务器上/data/mysql/backup/4771 目录下创建文件或目录,在目标服务器上查看,是否同步过去。
7,设置sersync 监控开机自动执行
# vi /etc/rc.d/rc.local
/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/data_confxml.xml