Rsync+sersync实时增量同步文件

一、为什么要用Rsync+sersync架构?

1、sersync是基于Inotify开发的,类似于Inotify-tools的工具

2、sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录。

二、Rsync+Inotify-tools与Rsync+sersync这两种架构有什么区别?

1、Rsync+Inotify-tools

(1):Inotify-tools只能记录下被监听的目录发生了变化(包括增加、删除、修改),并没有把具体是哪个文件或者哪个目录发生了变化记录下来;

(2):rsync在同步的时候,并不知道具体是哪个文件或者哪个目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此,效率很低。

2、Rsync+sersync

(1):sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字;

(2):rsync在同步的时候,只同步发生变化的这个文件或者这个目录(每次发生变化的数据相对整个同步目录数据来说是很小的,rsync在遍历查找比对文件时,速度很快),因此,效率很高。

小结:当同步的目录数据量不大时,建议使用Rsync+Inotify-tools;当数据量很大(几百G甚至1T以上)、文件很多时,建议使用Rsync+sersync。

环境:

源端:192.168.72.134        rsync-server

目标端:192.168.72.135    rsync-client


#############################目标端服务器配置###################################

一、在目标服务器上安装Rsync服务器(192.168.72.135)

1,关闭selinux

# vi /etc/selinux/config

SELINUX=disabled

# setenforce 0

2,关闭防火墙

# systemctl stop firewalld.service

3,安装rsync服务端软件

# yum install rsync xinetd

# vi /etc/rc.d/rc.local    # 设置开机启动

/usr/bin/rsync  --daemon --config=/etc/rsyncd.conf

# systemctl start xinetd    #启动xinetd

4,创建rsyncd.conf 配置文件

# vi /etc/rsyncd.conf

 uid = mysql     #uid 运行RSYNC守护进程的用户;基于后面要做mysql恢复方便,使用同一用户

 gid = myql     #运行RSYNC守护进程的组

use chroot = no   #如果"use chroot"指定为true,那么rsync在传输文件以前首先chroot到path参数所 指定的目录下。这样做的原因是实现额外的安全防护,但是缺点是需要以roots权限,并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true。

max connections = 4  #最大连接数,0不限制

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

motd file = /etc/rsyncd.Motd

transfer logging = yes

refuse options = delete   #源端删除数据,客户端不执行删除操作

fake super = yes  #使rsync进程用户root权限,可以复制文件

[backup]

        path = /app/mysql/backup/4771

        comment = A directory in which data is stored

        ignore errors = yes

        read only = no

        hosts allow = 10.129.24.105/24

        secrets file = /etc/rsync.pass # 密码文件

        auth users = mysql   #允许访问的用户,必须是密码文件中的

5,创建用户认证文件

# vi /etc/rsync.pass

mysql:mysql12345   # 格式为 用户名:密码

6,设置文件权限

chmod 600 /etc/rsyncd.conf

chmod 600 /etc/rsync.pass

7 ,启动rsync 和xinetd

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

systemctl start xinetd


##############################源服务器配置#####################################

1,关闭selinux

# vi /etc/selinux/config

SELINUX=disabled

# setenforce 0

2,关闭防火墙

# systemctl stop firewalld.service

3,安装rsync客户端软件

# yum install rsync xinetd

 # vi /etc/rc.d/rc.local  # 配置开机启动

/usr/bin/rsync --daemon

systemctl start xinetd

4, 创建认证密码文件

# vi /etc/passwd.txt

mysql12345

# chmod 600 /etc/passwd.txt

5,测试源服务器到目标服务器之间同步

rsync -avH --bwlimit=30000 --port=873 --progress /data/mysql/backup/4771/ mysql@10.129.213.46::backup --password-file=/etc/passwd.txt

--bwlimit 限速 kb/s

运行完成后,在目标服务器检查/etc/rsyncd.conf 配置的PATH目录是否有数据,如果有则同步成功。

二,安装sersync工具,实时触发rsync进行同步

1、查看服务器内核是否支持inotify

$ ll /proc/sys/fs/inotify# 列出文件目录,出现下面的内容,说明服务器内核支持inotify

total0

-rw-r--r--1root root0Mar2013:21max_queued_events

-rw-r--r--1root root0Mar2011:14max_user_instances

-rw-r--r--1root root0Mar2013:21max_user_watches

 备注:Linux下支持inotify的内核最小为2.6.13,可以输入命令:#uname -a查看内核

    CentOS 7.0内核为3.10.0,默认已经支持inotify

2、修改inotify默认参数(inotify默认内核参数值太小)    修改参数:

# sysctl -w fs.inotify.max_queued_events="99999999"

# sysctl -w fs.inotify.max_user_watches="99999999"

# sysctl -w fs.inotify.max_user_instances="65535"

# vi /etc/sysctl.conf#添加以下代码

    fs.inotify.max_queued_events=99999999

    fs.inotify.max_user_watches=99999999

    fs.inotify.max_user_instances=65535

3、安装sersync

    sersync下载地址:https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz

# tar zxvfsersync2.5.4_64bit_binary_stable_final.tar.gz#解压

# mv GNU-Linux-x86  /usr/local/sersync

4, 创建rsync

cd  /usr/local/sersync#进入sersync安装目录

# cp confxml.xml  confxml.xml-bak      #备份原文件

# cp confxml.xml  data_configxml.xml  # 复制用于同步data目录的文件

5 ,修改配置文件

---------------------------------   data 配置  -------------------------------------------

6, 启动服务

# /usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/data_confxml.xml

在源服务器上/data/mysql/backup/4771 目录下创建文件或目录,在目标服务器上查看,是否同步过去。

7,设置sersync 监控开机自动执行

# vi /etc/rc.d/rc.local 

/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/data_confxml.xml

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,864评论 6 494
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,175评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,401评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,170评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,276评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,364评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,401评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,179评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,604评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,751评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,380评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2 351

推荐阅读更多精彩内容