2020-02-29 Rsync企业级全网备份项目案例实践

1. 需求说明

某公司里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了数据就会丢失，现在领导要求把数据做备份，这样Web服务器数据丢失在可以进行恢复，要求如下：
每天晚上00点整在Web服务器A上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送到服务器B上备份保留（备份思路可以是先在本地按日期打包，然后再推到备份服务器B上）。
已知3台服务器主机名分别为Web01、BACKUP、NFS01，主机信息建下表。

全网备份主机信息表

（1）备份要求
每天晚上00点整在Web服务器上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送到备份服务器BACKUP上备份保留。
（2）备份思路
可以是先在本地按日期打包，然后再推送到备份服务器BACKUP上；NFS存储服务器和Web服务器在实际工作中就是运维主要管理的全部服务器。

2. 具体备份需求

1）所有服务器的备份目录必须都为/backup。
2）要备份的系统配置文件包括但不限于：

  • 定时任务服务的配置文件（/var/spool/cron/root） （适合Web和NFS服务器）。
  • 开机自启动的配置文件（/etc/rc.local） （适合Web和NFS服务器）。
  • 日常脚本的目录 （/server/scripts）。

3）Web服务器站点目录假定为/var/html/www，如果没有，可以先模拟创建。
4）Web服务器访问日志路径假定为/app/logs，如果没有，可以先模拟创建。
5）Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，因为数据太多硬盘会满）。
6）备份服务器BACKUP上，保留最近7天所有备份数据，保留6个月内每周一的所有数据副本。
7）备份服务器上，要按照备份数据服务器内网IP为目录保存备份，备份的文件按照时间、名称保存。
8）需要确保备份的数据尽量完整准确，在备份服务器上对备份的数据是否完整进行检查。
9）备份服务器BACKUP上，每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。

服务器备份信息汇总表

3. 项目逻辑架构

全网备份架构逻辑图

4. 项目实战部署

4.1 服务器创建

初始化3台服务器并将其作为全网备份方案测试服务器，3台服务器基本规划信息如下：

架构服务器基本信息表

4.2 服务器部署

（1）搭建备份服务器

  • rsync服务器搭建部署。
  • 开发脚本实现校验、删除、报警。
  • 配置实时任务每天6点实时执行。

（2）Web服务器搭建部署

  • 验证Rsync服务能否推送成功。
  • 开发脚本实现打包备份、推送、校验、删除。
  • 配置定时任务每天0点定时推送（0时是时间的一个分割点）。

（3）NFS服务器搭建部署

  • 验证Rsync服务能否推送成功。
  • 开发脚本实现打包备份、推送、校验、删除。
  • 配置定时任务每天0点定时推送（0时是时间的一个分隔点）。
提示：如果作为一个真实项目，还要设计项目文档的编写与文档中逻辑图与架构图的绘制；文档编写完成后，要交由领导进行审核，只有通过了才能真正在生产
环境中进行实施；并且关键时刻要和项目负责人进行沟通汇报工作进度，关键点请项目负责人进行审核。

第一个里程碑：在BACKUP上部署Rsync服务
在BACKUP Server上部署Rsync服务（前面有讲，这里忽略），并且在Web01和NFS01客户端服务器测试推送成功。
第二个里程碑：客户端本地开发打脚本
Nginx webserver，NFS dataserver本地打包备份脚本实现。
1）Web01服务器待备份信息。

  • /var/spool/cron/root、/etc/rc.local、/server/scripts
  • /var/html/www、/app/logs
    2）NFS01服务器待备份信息
    Rsync客户端（Nginx NFS）上进行信息备份压缩脚本编写
    进行备份压缩脚本编写前，需要进行Web站点目录与日志目录的创建（在192.168.9.7上执行），以及创建模拟数据。
[root@web01 ~]# mkdir /var/html/www -p
touch /var/html/www/{1..3}.txt
[root@web01 ~]# mkdir /app/logs -p
[root@web01 ~]# touch /app/logs/{a..c}.log
[root@web01 ~]# tree /var/html/www/
/var/html/www/
├── 1.txt
├── 2.txt
└── 3.txt
0 directories, 3 files
[root@web01 ~]# tree /app/logs/
/app/logs/
├── a.log
├── b.log
└── c.log
0 directories, 3 files

Web站点目录与日志目录创建完毕后，开始编写脚本信息（脚本编写信息需要在命令行测试成功后再放入脚本文件中）。

[root@localhost ~]# cd /server/scripts/
[root@localhost scripts]# vim backup.sh
#!/bin/bash
Date=$(date +%F_Week0%w)    ---定义时间方式
Host_IP=$(hostname -I)    ---可以有多种方法，能获取IP即可
Backup_Dir="/backup/"    ---本地备份路径
Backup_Server_IP=192.168.9.5    ---备份服务器的IP

[ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP    ---创建指定目录和IP的目录

# 按要求打包备份所有本地重要文件
cd / &&\
tar cf $Backup_Dir/$Host_IP/sys_file_bak_${Date}_tar.gz var/spool/cron/root &&\
tar rf $Backup_Dir/$Host_IP/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\
tar rf $Backup_Dir/$Host_IP/sys_file_bak_${Date}_tar.gz server/scripts/ &&\
tar zcf $Backup_Dir/$Host_IP/www_${Date}_tar.gz var/html/www/ &&\
tar zcf $Backup_Dir/$Host_IP/app_logs_${Date}_tar.gz app/logs/ &&\
# 提示：在NFS服务器客户端上不用编写压缩Web服务器的程序与日志目录

# 给所有备份的压缩文件建立指纹，放入指纹库flag，后面会验证完整性
find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag

# 把备份推送到备份服务器
rsync -az $Backup_Dir rsync_backup@${Backup_Server_IP}::backup --password-file=/etc/rsync.password

# 删除7天以前的所有本地备份数据
find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -f

第三个里程碑：配置定时任务
1）编辑定时任务，实现每天00:00定时备份本地数据，并推送到备份数据Rsync服务器上。

[root@web01 scripts]# crontab -e    ---编辑定时任务，添加如下内容
#crond-od-002:data backup by oldboy
00 00 * * * /bin/sh /server/scripts/backup.sh >/dev/null 2>&1

2）编辑服务端删除文件脚本文件，删除180天前的所有备份数据，但保存每周一的。

[root@backup ~]# mkdir -p /server/scripts
[root@backup ~]# cd /server/scripts/
[root@backup scripts]# vim /server/scripts/del_bak_data.sh
#!/bin/bash
Backup_Dir="/backup/"
#删除7天前的压缩包和flag文件，但是每周一的不删
find ${Backup_Dir:-/tmp} -type f  -name "*tar.gz*" ! -name "*Week01*" -o -name "*flag*"
-mtime +7|xargs rm -f
#删除180天前的所有压缩包和flag文件
find ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" -name "*flag*" -mtime +180|xargs rm -f

3）配置定时任务，实现服务端180天前数据自动删除。

[root@backup scripts]# crontab -e
#crond-id-002:data backup by oldboy
00 00 * * * /bin/sh /server/scripts/del_bak_data.sh >/dev/null 2>&1

第四个里程碑：数据传输完整性验证与监控告警
服务端针对客户端备份时的md5指纹数据，利用MD5命令进行验证，完成数据传输过程完整性验证。

[root@backup scripts]# vim send_mail.sh
#!/bin/bash
Date=$(date +%F_Week0%w)
Backup_Dir="/backup/"
Check_Log="/tmp/bak.log_$(date +%F)"    ---定时检查备份结果的文件
Admin_Mail=xxxx@163.com    ---管理员邮箱，建议使用163

find $Backup_Dir -type f -name "${Date}.flag"|xargs md5sum -c >>$Check_Log


if [ -n "cat $Check_Log" ]
then
    mail -s "$Date backup data info" $Admin_Mail <$Check_Log
else
    echo "$Date backup data error,pls check it." >$Check_Log    ---如果结果文件不存在，日志信息变化，报错
    mail -s "$Date backup data info" $Admin_Mail <$Check_Log
fi
cp $Check_Log{,.ori} && >$Check_Log

第五个里程碑：配置mail使用外部SMTP发邮件
安装mailx

yum install -y mailx

编辑/etc/mail.rc配置文件

vim /etc/mail.rc    ---在最后一行加入如下内容
set from=xxxx@163.com smtp.163.com smtp-auth-user=xxxx smtp-auth-password=yyyy smtp-auth=login

各命令参数的含义说明如下：

  • from 是服务器外发邮件的邮件地址，通过注册163邮箱获得。
  • smtp 是发生的外部SMTP服务器的地址，需要使用相应的SMTP地址。
  • smtp-auth-user 是外部SMTP服务器认证的用户名，注册时的用户名。
  • smtp-auth-password 是外部SMTP服务器认证的用户密码（注意是授权码）。
  • smtp-auth 是邮件认证方式。

配置成功后，测试一下。

[root@localhost ~]# echo "I am oldboy training" >/tmp/content.txt
[root@localhost ~]# mail -s "test" xxxx@qq.com </tmp/content.txt
image.png

至此，全网备份方案完成。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 215,076评论 6赞 497
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 91,658评论 3赞 389
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 160,732评论 0赞 350
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 57,493评论 1赞 288
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 66,591评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,598评论 1赞 293
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,601评论 3赞 415
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,348评论 0赞 270
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,797评论 1赞 307
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,114评论 2赞 330
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,278评论 1赞 344
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,953评论 5赞 339
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,585评论 3赞 322
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,202评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,442评论 1赞 268
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,180评论 2赞 367
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,139评论 2赞 352