实时同步服务--用脚本实现(inotify+rsync)

一、实时同步服务概述

    A主机 新的数据  -实时同步- B主机 数据备份
    如何实现数据实时同步:
    1)发现数据变化  inotify(监控软件)
    2)进行数据备份  rsync 

二、实时同步服务监控软件部署:

 存储服务器部署
  1.安装监控数据变化软件
    条件:确认epel源可以正常使用
    yum install -y inotify-tools
    
  2.监控命令使用
    /usr/bin/inotifywait    --- 监控数据变化命令
    /usr/bin/inotifywatch   --- 统计数据变化次数  添加 删除 修改
  inotifywait  [参数]  事件  目录
    · 永久监控目录中数据变化:  inotifywait -m  目录
      -m|--monitor      Keep listening for events forever. 
                        保持永久监控    
    · 实现目录中数据递归监控:  inotifywait -rm  目录
      -r|--recursive    Watch directories recursively.
                        监控目录中子目录数据变化
      -d|--daemon       Same as --monitor
                        类似-m参数
                        
    · 实现目录中数据递归监控:  inotifywait -rm  目录
      -r|--recursive    Watch directories recursively.
                        监控目录中子目录数据变化
                        
    
    · 实时目录中数据排除监控功能:    
      --exclude <pattern>   Exclude all events on files matching the extended regular expression <pattern>
                            排除指定数据信息不要进行监控 (区分大小写识别信息)
      --excludei <pattern>  Like --exclude but case insensitive.
                            排除指定数据信息不要进行监控 (忽略大小写识别信息)  
                    
    · 将无用的信息进制输出
      -q|--quiet            Print less (only print events). 
                            输出少量信息(只输出事件信息)
    
    · 知识输出信息格式
      --format <fmt>    Print using a specified printf-like format string; read the man page for more details.
                        指定输出信息格式
                        %e  显示触发事件信息 
                        %w  显示监控目录信息
                        %f  触发事件数据信息
      --timefmt <fmt>   strftime-compatible format string for use with %T in --format string.
                        定义显示的时间格式信息(时间格式的定义和 date命令类似)

        [root@nfs ~ 18:05:59]# inotifywait -mrq  --timefmt "%F %T" --format "%T %w %f %e" /data -              e "close_write,move,create,delete"
        2022-12-06 18:08:57 /data/ web.txt CLOSE_WRITE,CLOSE

        [root@nfs ~ 18:09:11]# inotifywait -mrq  --timefmt "%y %m %d" --format "%T %w %f %e" /data -e "close_write,move,create,delete"
        22 12 06 /data/ web.txt CLOSE_WRITE,CLOSE

      -c|--csv          Print events in CSV(格式) format.   (MySQL)用  , 分割
      -e|--event <event1> [ -e|--event <event2> ... ]         Listen for specific event(s)
                                                              指定监视事件信息
                                                              
                                                              
      事件信息:inotify软件采用触发机制进行监控
      access        file or directory contents were read
                    文件或目录内容被读取时
      modify        file or directory contents were written
                    文件或目录内容被写入
      attrib        file or directory attributes changed
                    文件或目录属性信息被改变
      close_write   file or directory closed, after being opened in writeable mode    ******
                    文件或目录关闭,写入新的信息之后
      close_nowrite file or directory closed, after being opened in read-only mode
                    文件或目录关闭,只读模式进行关闭
      close         file or directory closed, regardless of read/write mode
                    文件或目录关闭,无论文件数据是否进行读或者写入
      open          file or directory opened
                    文件或目录被打开了
      moved_to      file or directory moved to watched directory
                    文件或目录移动到监控目录中
      moved_from    file or directory moved from watched directory
                    文件或目录从监控目录移除
      move          file or directory moved to or from watched directory             *****
                    文件或数据不管是从目录中移除或是移入
      create        file or directory created within watched directory               *******
                    文件或目录被创建出来在监控目录中
      delete        file or directory deleted within watched directory               ******         
                    在监控目录中文件或目录被删除
      delete_self   file or directory was deleted
                    在监控目录中文件或目录被删除
      unmount       file system containing file or directory unmounted
                    文件系统中包含文件或目录被卸载
                    
利用脚本实现实时同步: inotifywait + rsync
利用实时同步软件实现: sersync

三、实时同步利用脚本方式实现:

编写脚本思路:
1)发现变化数据信息 inotifywait
inotifywait -mrq --format "%w%f" /data -e "close_write,move,create,delete"
数据信息

2)将变化数据进行传输 rsync
rsync -az 数据信息 rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

  1. 监控操作和同步操作建立联系
    shell脚本循环语句:
    · for 循环语句 --- 有限循环
    · while 循环语句 --- 无限循环
    条件为真就会一直循环
    · until 循环语句 --- 无限循环
    条件为假就会一直循环

    脚本解释过程:
    inotifywait -mrq --format "%w%f" /data -e "close_write,move,create,delete"|while read data_info
        信息   --- 赋值 买一 --- 循环动作 增一
    do
      rsync -az  $data_info --delete  rsync_backup@172.16.1.41::backup  --password-file=/etc/rsync.password 
    done
    
    脚本内容:
    # cat /server/scripts/sync_data.sh 
    #!/bin/bash
    
    inotifywait -mrq --format "%w%f" /data -e "close_write,move,create,delete"|while read data_info
    do
       rsync -az  /data/ --delete  rsync_backup@172.16.1.41::backup  --password-file=/etc/rsync.password 
    done
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,427评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,551评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,747评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,939评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,955评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,737评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,448评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,352评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,834评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,992评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,133评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,815评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,477评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,022评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,147评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,398评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,077评论 2 355

推荐阅读更多精彩内容