把客户端中的文件备份到目标目标服务端
rsync -rp /etc/hosts 172.16.1.41:/backup/hosts_rsync
-r 递归复制传输数据
-p 保持文件属性信息不变
/etc/hosts 需要备份的文件
172.16.1.41 服务端的地址
/backup/hosts_rsync 文件备份到服务端的目录
需要备份的目录后面有 / 只把目录中的文件进行备份
需要备份的目录后面没有 / 会把目录本身和目录中的文件一起进行备份
快速删除服务端目录中的大文件
提前创建空目录/null
rsync -rp --delete /null/ 172.16.1.41:/backup
/backup 需要清空的目录
守护进程方式备份数据
rsync守护进程服务端配置
1. 下载安装软件 rsync
2.编写配置文件 :/etc/rsyncd.conf
##created by HQ at 2017
###rsyncd.conf start##
uid = rsync --- 指定管理备份目录的用户
gid = rsync --- 指定管理备份目录的用户组
port = 873 --- 定义rsync备份服务的网络端口号
fake super = yes --- 将rsync虚拟用户伪装成为一个超级管理员用户
use chroot = no --- 和安全相关的配置
max connections = 200 --- 最大连接数
同时只能有200个客户端连接到备份服务器
timeout = 300 --- 超时时间(单位秒)
pid file = /var/run/rsyncd.pid --- 记录进程号码信息
1.让程序快速停止进程
2. 判断一个服务是否正在运行
lock file = /var/run/rsync.lock --- 锁文件
log file = /var/log/rsyncd.log --- rsync服务的日志文件 用于排错分析问题
ignore errors --- 忽略传输中的简单错误
read only = false --- 指定备份目录是可读可写
list = false --- 使客户端可以查看服务端的模块信息
hosts allow = 172.16.1.0/24 --- 允许传输备份数据的主机(白名单)
hosts deny = 0.0.0.0/32 --- 禁止传输备份数据的主机(黑名单)
auth users = rsync_backup --- 指定认证用户
secrets file = /etc/rsync.password --- 指定认证用户密码文件 用户名称:密码信息
[backup] --- 模块信息
comment = "backup dir by oldboy"
path = /backup --- 模块中配置参数 指定备份目录
rsync配置文件
##created by HQ at 2017
###rsyncd.conf start##
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
comment = "backup dir by oldboy"
path = /backup
3.创建rsync服务的虚拟用户
useradd rsync -M -s /sbin/nologin
4.创建备份服务认证密码文件
echo "rsync_backup:123456" >/etc/rsync.password --写入指定用户名和密码,用作验证
chmod 600 /etc/rsync.password --修改密码文件的权限,除了属主,任何人不得查看,修改
5.创建备份目录并修改属主属组信息
mkdir /backup
chown rsync.rsync /backup/
6.启动备份服务,并设置开机自启
systemctl start rsyncd
systemctl enable rsyncd
systemctl status rsyncd
rsync守护进程客户端配置:
- 下载安装rsync软件,创建密码文件并修改权限,和服务端进行密码验证
yum install -y rsyncd
echo "123456" >/etc/rsync.password
chmod 600 /etc/rsync.password
- 进行免交互传输数据测试
rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
backup 模块信息
rsync命令参数详细说明
-v, --verbose 显示详细的传输信息
-a, --archive 把命令的参数归档 其中包含: rtopgDl
-r, --recursive 递归参数
-t, --times 保持文件属性信息时间信息不变(修改时间)
-o, --owner 保持文件属主信息不变
-g, --group 保持文件属组信息不变
PS: 如何让-o和-g参数生效,需要将配置文件uid和gid改为root,需要将 fake super参数进行注释,然后重启服务
修改配置文件都需要重启服务
-p, --perms 保持文件权限信息不变
-D, 保持设备文件信息不变
-l, --links 保持链接文件属性不变
-L, 保持链接文件数据信息不变
-P, 显示数据传输的进度信息
--exclude=PATTERN 排除指定数据不被传输
--exclude-from=file 排除指定数据不被传输(批量排除)
把文件写入目录里
--bwlimit=RATE 显示传输的速率 100Mb/8=12.5MB
企业案例: 马路(带宽-半) 人人网地方(限速)
--delete 无差异同步参数(慎用)
我有的你也有,我没有的你也不能有
全网备份项目
项目需求
1)所有服务器的备份目录必须都为/backup OK
2)要备份的系统配置文件包括但不限于： OK
a.定时任务服务的配置文件(/var/spool/cron/root)（适合web和nfs服务器）。
b.开机自启动的配置文件(/etc/rc.local)（适合web和nfs服务器）。
c.日常脚本的目录(/server/scripts)。
d.防火墙iptables的配置文件(/etc/sysconfig/iptables)。
e.自己思考下还有什么需要备份呢？
3)Web服务器站点目录假定为(/var/html/www)。 OK
4)Web服务器A访问日志路径假定为（/app/logs） OK
5)Web服务器保留打包后的7天的备份数据即可(本地留存不能多于7天，因为太多硬盘会满)
6)备份服务器上,保留每周一的所有数据副本，其它要保留6个月的数据副本。
7)备份服务器上要按照备份数据服务器的内网IP为目录保存备份，备份的文件按照时间名字保存。OK
8)需要确保备份的数据尽量完整正确，在备份服务器上对备份的数据进行检查，把备份的成功及失败结果信息发给系统管理员邮箱中（发邮件技巧见VIP群资料）
服务端
#!/bin/bash
#全网备份服务端,服务端的备份目录需要提前创建
#对6个月前的数据删除,保留周一的数据,删除周二到周日的数据
find /backup/ -type f -mtime +180 ! -name "*week1*"|xargs rm 2>/dev/null
#使用MD5 验证发送过来的数据是否完整,并重定向写入check.txt文件
md5sum -c `find /backup/ -type f -name "finger.txt"` >/tmp/check.txt
#把验证后的结果发送邮箱
mail -s "验证信息 $(date +%F)" sunchunyang0413@163.com</tmp/check.txt
客户端
#!/bin/bash
Backup_dir="/backup"
#以服务器的IP作为backup的下一级目录
ip_info=$(hostname -i)
#创建客户端备份目录
mkdir -p $Backup_dir/$ip_info
#压缩需要备份的文件和目录,文件名中有每天的日期
tar zcphf $Backup_dir/$ip_info/system_backup_$(date +%F_week%w -d "1 day ago").tar.gz /var/spool/cron/root /etc/rc.local /etc/sysconfig/iptables /server/scripts
tar zcphf $Backup_dir/$ip_info/www_backup_$(date +%F_week%w -d "1 day ago").tar.gz /var/html/www
tar zcphf $Backup_dir/$ip_info/logs_backup_$(date +%F_week%w -d "1 day ago").tar.gz /app/logs
#把7天之前的文件删除
find $Backup_dir/$ip_info/ -type f -mtime +7|xargs rm 2>/dev/null
#把要推送的数据生成MD5码
md5sum `find $Backup_dir/$ip_info/ -type f -name "*$(date +%F_week%w -d "1 day ago")*"` >$Backup_dir/$ip_info/finger.txt
#把数据和生成的MD5码文件推送到备份服务器中
rsync -avz `find $Backup_dir/$ip_info/ -type f -name "*$(date +%F_week%w -d "1 day ago")*"` $Backup_dir/$ip_info/finger.txt rsync_backup@172.16.1.41::backup/$ip_info/ --password-file=/etc/rsync.password
