Linux下自动备份数据库

备份还原某个数据库

备份还原
mysql提供了一个mysqldump的工具可以方便的导出导入数据库信息；
使用命令行shell测试执行mysqldump，理解必备的参数，查看生成的sql备份文件是否符合需求；

/usr/bin/mysqldump --opt -ubatsing -pbatsingpw -hlocalhost timepusher > /mnt/mysqlBackup/db_`date +%F`.sql
注解：
1、执行 /usr/bin/mysqldump；
2、--opt是quick，add-drop-table，add-locks，extended-insert，lock-tables几个参数的合称，一般都要使用，具体意思自行搜索；
3、-u数据库用户名 -p数据库用户密码 -h数据库地址 数据库名 > 导出的文件路径；
4、`date +%F`是shell中生成当前日期，格式如2015-11-05，所以成功导出时生成的文件名为 db_2015-11-05.sql；
5、下载生成的 sql文件 ，用文本编辑器打开检查，本地导入测试数据库，看是否有问题；

# 导出数据库
/usr/bin/mysqldump -u root -ppwd database > database20160929.sql
# 导入数据库
mysql -u root -p database < database20160929.sql

备份到压缩文件从压缩文件导入

/usr/bin/mysqldump -u root -ppwd database  | gzip > database20160929.sql.gz
#从压缩文件导入
gzip < database20160929.sql.gz | mysql -u root -p database

crontab定时备份

# root 用户,创建备份目录
mkdir -p /bak/mysqlbak
cd /bak/mysqldata

编写运行脚本

vi  /usr/sbin/bakmysql.sh

脚本代码：

#!/bin/bash
# Name:bakmysql.sh
# This is a ShellScript For Auto DB Backup and Delete old Backup
#
backupdir=/bak/mysqlbak
time=` date +%Y%m%d%H `
mysql_bin_dir/mysqldump -u root -ppwd database | gzip > $backupdir/database$time.sql.gz
#
find $backupdir -name "name_*.sql.gz" -type f -mtime +7 -exec rm {} ; > /dev/null 2>&1
#

#整理编写比较灵活的shell脚本，方便重用；
#!/bin/sh

# Database info
DB_USER="batsing"
DB_PASS="batsingpw"
DB_HOST="localhost"
DB_NAME="timepusher"

# Others vars
BIN_DIR="/usr/bin"            #the mysql bin path
BCK_DIR="/mnt/mysqlBackup"    #the backup file directory
DATE=`date +%F`

# TODO
# /usr/bin/mysqldump --opt -ubatsing -pbatsingpw -hlocalhost timepusher > /mnt/mysqlBackup/db_`date +%F`.sql
$BIN_DIR/mysqldump --opt -u$DB_USER -p$DB_PASS -h$DB_HOST $DB_NAME > $BCK_DIR/db_$DATE.sql

#还原数据库
#用mysql-front导入前一天的 *.sql 文件即可恢复数据

保存到文件或上传到 /usr/local/apache/htdocs/timepusher/sqlBak/sqlAutoBak.sh

测试Shell脚本
1、进入到该脚本文件目录 chmod +x sqlAutoBak.sh 添加执行权限，否则会报错  Permission denied 
2、./sqlAutoBak.sh ，如果是在windows编写上传的文件可能会报错

/bin/sh^M: bad interpreter: No such file or directory
这是不同系统编码格式引起的：在 windows系统中编辑的 .sh文件可能有不可见字符，所以在 Linux系统下执行会报以上异常信息。可以在Windows上使用Notepad++转换成Unix格式（菜单中选择：编辑>档案格式转换>转换成UNIX）
3、修改后上传继续执行 ./sqlAutoBak.sh ，没有报错。再查看导出的sql文件。

五、压缩mysql的备份数据
1、查看导出来的sql文件，发现其文件大小非常大，mysqldump也提供了生成gzip压缩文件的参数设置
2、sqlAutoBak.sh修改为如下

#!/bin/sh

# Database info
DB_USER="batsing"
DB_PASS="batsingpw"
DB_HOST="localhost"
DB_NAME="timepusher"

# Others vars
BIN_DIR="/usr/bin"            #the mysql bin path
BCK_DIR="/mnt/mysqlBackup"    #the backup file directory
DATE=`date +%F`

# TODO
# /usr/bin/mysqldump --opt -ubatsing -pbatsingpw -hlocalhost timepusher > /mnt/mysqlBackup/db_`date +%F`.sql
# $BIN_DIR/mysqldump --opt -u$DB_USER -p$DB_PASS -h$DB_HOST $DB_NAME > $BCK_DIR/db_$DATE.sql
$BIN_DIR/mysqldump --opt -u$DB_USER -p$DB_PASS -h$DB_HOST $DB_NAME ｜ gzip > $BCK_DIR/db_$DATE.sql.zip

# 还原数据库
# 把 *.sql.zip 使用gunzip 或 本地的解压软件 解压为 *.sql 文件
# 用mysql-front导入前一天的 *.sql 文件即可恢复数据

3、修改后上传继续执行 ./sqlAutoBak.sh ，没有报错。如果用文本编辑器查看导出的 *.sql.gz文件，应该是一堆乱码。
4、下载到本地使用解压软件打开，解压就能看到里面真正的 *.sql 文件了。

设置linux定时任务执行该脚本；
1、编辑定时任务列表

crontab -e
2、插入下面这一行，因为通常来说5点钟网站的访问量最低。

00 05 *   * * /bin/sh /usr/local/apache/htdocs/timepusher/sqlBak/sqlAutoBak.sh
#每天早上 5:00am 执行
3、查看任务是否创建成功

crontab -l
七、第二天检查自动生成的sql文件是否符合要求
如果生成的文件和解压出来查看没有问题，那么这个自动定时备份数据库的脚本就算是完成了。因为生成的文件多了会占用一定的空间，所以建议要定期（比如一个月）清理一下文件。

 

$、补充
1、如果该数据库的用户没有分配 锁表 的权限，则备份会报错 when using LOCK TABLES 。那是因为mysqldump命令默认在导出时是要锁定表的，所以解决方式有两个。一个是给该用户开放 锁表 的权限；另一个是在命令中加上  --skip-lock-tables 这个参数。即是：

$BIN_DIR/mysqldump --opt -u$DB_USER -p$DB_PASS -h$DB_HOST $DB_NAME --skip-lock-tables｜ gzip > $BCK_DIR/db_$DATE.sql.gz

linux下备份的sql文件在window下打开是乱码的，我们只需要在导入时候加上编码导入即可！怎么出去的怎么进来：

#这里的文件为你自己对应的文件(进入到对应的脚本路径下)
mysql -uroot -p --default-character-set=utf8 dbname < bak.sql

脚本说明：

backupdir mysql备份地址
root mysql用户名
pwd mysql密码
database 数据库名
mysql_bin_dir mysql的bin路径；
time=date +%Y%m%d%H也可以写为time=" $(date +"%Y%m%d$ H")"其中`符号是TAB键上面的符号，不是ENTER左边的'符号，还有date后要有一个空格。
type f 表示查找普通类型的文件，f表示普通文件。
mtime +7 按照文件的更改时间来查找文件，+5表示文件更改时间距现在7天以前；如果是 -mmin +5 表示文件更改时间距现在5分钟以前。
exec rm {} \ 表示执行一段shell命令，exec选项后面跟随着所要执行的命令或脚本，然后是一对儿{}，一个空格和一个，最后是一个分号。
/dev/null 2>&1 把标准出错重定向到标准输出，然后扔到/DEV/NULL下面去。通俗的说，就是把所有标准输出和标准出错都扔到垃圾桶里面；其中的& 表示让该命令在后台执行。

为脚本添加执行权限

# chmod +x /usr/sbin/bakmysql.sh

设置crontab定时执行

vi /etc/crontab 
#在最后一行中加入：  
00 3 * * * root /usr/sbin/bakmysql.sh
#表示每天3点00分执行备份
注：crontab配置文件格式如下：
分　时　日　月　周　 命令

5、重启crontab

/etc/rc.d/init.d/crond restart  
#这样就完了定时备份并清理前7天的备份数据

同步到其它服务器

这里使用Linux同步文件工具rsync+inotify来进行文件的同步

rsync
rsync是类unix系统下的数据镜像备份工具——remote sync。一款快速增量备份工具 Remote Sync，远程同步支持本地复制，或者与其他SSH、rsync主机同步

用法

rsync src dest

这是最简单的用法，表示同步src,dest文件。（即，执行之后，dest的文件与src的相同，以src的为准)

常用选项

-a: 等价于-rlptgoD,归档式
-r: 递归
-l: 复制软件链接
-p: 保留权限信息
-t: 将src的修改时间，同步到dest
-g: 同步组信息(group)
-o: 同步拥有者信息(own)
-D: 保持字符与块设备文件
-z: 启用压缩传输
-–delete：如果src没有此文件，那么dest也不能有，即在dest删除src里没有的文件。（如果你使用这个选项，就必须搭配-r选项一起）
## 将本地/bak/mysqlbak/文件同步到 远程服务器 /bak/mysql/bak 目录下面 排除 mysqlbak/index目录 通过ssh端口
rsync -vzacu  /bak/mysqlbak/  root@192.168.53.86:/bak/mysqlbak   --exclude  "mysqlbak/index"   -e "ssh -p 22"
# 将远程目录 /bak/mysqlbak下的文件同步到本地 /bak/mysqlbak/目录下
rsync -vzrtopg --progress --delete root@192.168.53.85:/bak/mysqlbak  /bak

启用rsync服务器端同步远程文件

rsycn的服务端为服务器的文件接收端，rsycn的客户端为服务器的文件推动端。

rsycn的服务端/文件接收端配置

服务端需要开启rsyncd服务
添加配置文件rsyncd.conf

vi /etc/rsyncd.conf
#以下是全局配置
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/lock/rsyncd
[mysqlbak]     #模块名，在源服务器指定这个名字
   comment = sync rsync/home      #描述信息
   path = /bak/mysqlbak      #备份目录
   use chroot=no           #不使用chroot，不用root权限
   read only = no          #设置本地备份目录为读写权限
   uid=root          
   gid=root
   max connections=10       #客户端最大连接数
   auth users = root      #指定数据同步用户
   secrets file = /etc/rsyncd.pass          #指定数据同步用户信息文件
   hosts allow=192.168.53.0/85     #允许连接的客户端
   ignore errors = yes     #忽略出现I/O错误
   timeout = 600

创建认证文件

  vi /etc/rsyncd.pass
  ##代码
  root:root      #格式是用户名：密码
  #属主要有权限读这个文件，否则会报没权限
  chmod 600 /etc/rsyncd.pass

修改/etc/xinetd.d/rsync文件，disable 改为 no

service rsync
{
        disable = no
        socket_type     = stream
        wait            = no
        user            = root
        server          = /usr/bin/rsync
        server_args     = --daemon
        log_on_failure  += USERID
}

启动服务端

rsync --daemon --config=/etc/rsyncd.conf

rsycn的客户端/文件发送端配置

客户端配置简单只需要配置密码既可

  vi /etc/rsync_client.pwd
  ##代码
  root    #只需要填写rsync服务的密码
  #属主要有权限读这个文件，否则会报没权限
  chmod 600 /etc/rsync_client.pwd

客户端同步测试

/usr/bin/rsync -auvrtzopgP --progress --password-file=/etc/rsync_client.pwd /bak/mysqlbak/ root@192.168.53.86::mysqlbak

rsync只是一次性同步,如果需要实时同步就需要引入另一个工具了

inotify
Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

Inotify只需要要按照部署在同步的客户端，当监控的文件有变化触动 rsync脚本来同步

安装

yum install inotify-tools

配置监控的文件路径

vi /etc/inotify_exclude.lst
#代码
/bak/mysqlbak #监控目录
@/bak/log #排除监控目录

rsync排除监控文件目录

vi /etc/rsyncd.d/rsync_exclude.lst
#代码
src/*.html*
src/js/
src/2014/20140[1-9]/

客户端同步到远程的脚本rsync.sh

#rsync auto sync script with inotify
#variables
current_date=$(date +%Y%m%d_%H%M%S)
source_path=/bak/mysqlbak/
log_file=/var/log/rsync_client.log
#rsync
rsync_server=192.168.53.86
rsync_user=root
rsync_pwd=/etc/rsync_client.pwd
rsync_module=mysqlbak
INOTIFY_EXCLUDE='(.*/*\.log|.*/*\.swp)$|^/tmp/src/mail/(2014|20.*/.*che.*)'
RSYNC_EXCLUDE='/bak/rsync_exclude.lst'
#rsync client pwd check
if [ ! -e ${rsync_pwd} ];then
    echo -e "rsync client passwod file ${rsync_pwd} does not exist!"
    exit 0
fi
#inotify_function
inotify_fun(){
    /usr/bin/inotifywait -mrq --timefmt '%Y/%m/%d-%H:%M:%S' --format '%T %w %f' \
          --exclude ${INOTIFY_EXCLUDE}  -e modify,delete,create,move,attrib ${source_path} \
          | while read file
      do
          /usr/bin/rsync -auvrtzopgP --exclude-from=${RSYNC_EXCLUDE} --progress --bwlimit=200 --password-file=${rsync_pwd} ${source_path} ${rsync_user}@${rsync_server}::${rsync_module} 
      done
}
#inotify log
inotify_fun >> ${log_file} 2>&1 &

给脚本执行权限，执行后就可以了

chmod 777 rsync.sh
./rsync.sh

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 213,864评论 6赞 494
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,175评论 3赞 387
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 159,401评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,170评论 1赞 286
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,276评论 6赞 385
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,364评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,401评论 3赞 412
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,179评论 0赞 269
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,604评论 1赞 306
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,902评论 2赞 328
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,070评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,751评论 4赞 337
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,380评论 3赞 319
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,077评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,312评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,924评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,957评论 2赞 351

Linux下自动备份数据库

备份还原某个数据库

crontab定时备份

同步到其它服务器

推荐阅读更多精彩内容