mysql 自动自动化增量备份及恢复

1.1数据库备份工具

Percona XtraBackup

官方地址:https://www.percona.com/software/mysql-database/percona-xtrabackup

1.2工具的安装

#安装

[root@localhost ~]# cd /opt/

[root@localhost opt]# wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.5/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.5-1.el6.x86_64.rpm

[root@localhost opt]# yum installpercona-xtrabackup-24-2.4.5-1.el6.x86_64.rpm

#如果提示缺失依赖包

[root@localhost opt]# yum -y install perlperl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL

#如果报错如下:

postfix-2.10.1-6.el7.x86_64有缺少的需求libmysqlclient.so.18()(64bit)

则需要安装相关依赖,检查系统mysql版本:

[root@localhost opt]# mysql

Welcome to the MySQL monitor.Commands end with ; or \g.

Your MySQL connection id is 7

Server version: 5.7.15-log MySQL CommunityServer (GPL)

#下载依赖软件包

[root@localhost opt]# wgethttp://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.15-1.el7.x86_64.rpm-bundle.tar

#解压缩并安装mysql-community-libs-compat-5.7.15-1.el7.x86_64.rpm

[root@localhost opt]# mkdir -p mysql

[root@localhost opt]# cd mysql/

[root@localhost opt]# mvmysql-5.7.15-1.el7.x86_64.rpm-bundle.tar mysql/

[root@localhost mysql]# tar -xvfmysql-5.7.15-1.el7.x86_64.rpm-bundle.tar

[root@localhost mysql]# yum installmysql-community-libs-compat-5.7.15-1.el7.x86_64.rpm

1.3工具的配置

Xtrabackup常用参数

--user=USER指定备份用户,不指定的话为当前系统用户

--password=PASSWD指定备份用户密码

--port=PORT指定数据库端口

--defaults-group=GROUP-NAME在多实例的时候使用

--host=HOST指定备份的主机,可以为远程数据库服务器

--apply-log回滚日志

--database指定需要备份的数据库,多个数据库之间以空格分开

--defaults-file指定mysql的配置文件

--copy-back将备份数据复制回原始位置

--incremental增量备份,后面跟要增量备份的路径

--incremental-basedir=DIRECTORY增量备份时使用指向上一次的增量备份所在的目录

--incremental-dir=DIRECTORY增量备份还原的时候用来合并增量备份到全量,用来指定全备路径

--redo-only对增量备份进行合并

--rsync加快本地文件传输,适用于non-InnoDB数据库引擎。不与--stream共用

--safe-slave-backup

--no-timestamp生成的备份文件不以时间戳为目录.

1.4备份及恢复策略

增量备份从库到其他服务器;

若主库挂而从库正常,则将主线数据请求切到从库,尝试恢复主库;

若主从都挂,则从备份服务器将数据恢复到从库,再将主线数据请求切到从库,之后尝试恢复主库,或者直接启用远程临时库(要考虑集群恢复后远程临时库将变更为真正的数据源,实时数据如何恢复到集群的问题!);

1.5全量备份及恢复

#全量备份及恢复

[root@localhost opt]# innobackupex--user=root --password=dianzhong /data/backup/full

#上个命令在我的/data/backup/full/目录生成了一个文件夹【2017-10-16_11-57-01】

#一般情况下,这个备份不能用于恢复,因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务,此时数据文件处于不一致的状态

#因此,我们现在就是要通过回滚未提交的事务及同步已经提交的事务至数据文件也使得数据文件处于一致性状态。

innobackupex --user=root --password--defaults-file=/data/mysql/my.cnf --apply-log /data/backup/full/2017-10-16_11-57-01

#恢复操作演练

#关掉服务,迁移已有的数据目录

service mysqld stop

mv /data/mysql /data/mysqlold

mkdir -p /data/mysql

#执行innobackupex恢复命令

innobackupex--defaults-file=/etc/my.cnf --user=root --password=dianzhong --copy-back/data/backup/full/2017-10-16_11-57-01

#对新目录执行赋权操作,此操作需在innobackupex恢复命令后

chown -R mysql.mysql /data/mysql

#重启服务,并检查数据是否恢复

service mysqld start

1.6增量备份及恢复

#全量备份

innobackupex--defaults-file=/data/mysql/my.cnf--user=root --password=passwd/data/backup/full

#第一次增量备份

innobackupex --defaults-file=/etc/my.cnf--user=root --password=dianzhong --incremental /data/backup/inc1--incremental-basedir=/data/backup/full/2017-10-16_11-57-01

# --incremental-basedir指的是完全备份所在的目录

#此命令执行结束后,innobackupex命令会在/data/backup目录中创建一个新的以时间命名的目录以存放所有的增量备份数据。

#另外,在执行过增量备份之后再一次进行增量备份时,其--incremental-basedir应该指向上一次的增量备份所在的目录。

#需要注意的是,增量备份仅能应用于InnoDB或XtraDB表,对于MyISAM表而言,执行增量备份时其实进行的是完全备份。

#第二次增量备份

innobackupex --defaults-file=/etc/my.cnf--user=root --password=dianzhong --incremental /data/backup/inc2--incremental-basedir=/data/backup/inc1/2017-10-16_14-52-36

#备份恢复演练

#恢复到第一次备份点

service mysqld stop

mv /data/mysql /data/mysqlold

mkdir -p /data/mysql

innobackupex --apply-log --redo-only/data/backup/full/2017-10-16_11-57-01

innobackupex --apply-log --redo-only/data/backup/full/2017-10-16_11-57-01--incremental-dir=/data/backup/inc1/2017-10-16_14-52-36

innobackupex --defaults-file=/etc/my.cnf--user=root --password=dianzhong --copy-back/data/backup/full/2017-10-16_11-57-01

chown -R mysql:mysql /data/mysql

service mysqld start

#恢复到第二次备份点(比恢复到第一次备份点多一次操作)

servicemysqld stop

mv/data/mysql /data/mysqlold

mkdir -p/data/mysql

innobackupex--apply-log --redo-only /data/backup/full/2017-10-16_11-57-01

innobackupex--apply-log --redo-only /data/backup/full/2017-10-16_11-57-01--incremental-dir=/data/backup/inc1/2017-10-16_14-52-36

innobackupex --apply-log --redo-only/data/backup/full/2017-10-16_11-57-01--incremental-dir=/data/backup/inc2/2017-10-16_14-59-34

innobackupex--defaults-file=/etc/my.cnf --user=root --password=dianzhong --copy-back/data/backup/full/2017-10-16_11-57-01

chown -Rmysql:mysql /data/mysql

servicemysqld start

1.7远程/异地备份

#远程备份的方法except +

scp +md5(except需要单独安装,方法见《expect SCP安装及使用》)

1.创建远程机与源机的互信

#生成密钥对

[root@localhost ~]# ssh-keygen -t rsa

#传送到远程机

[root@localhost ~]# ssh-copy-id -i ~/.ssh/id_rsa.pubroot@192.168.0.200

2.备份文件验证

分别获取本机备份文件及远程机备份文件之后比对md5码

3.限速远程备份方法

#登陆远程机并获取远程机上备份文件MD5码的方法(4个参数:远程机IP、用户名、密钥对文件路径、备份文件路径)

#!/usr/bin/expect

# viscp.exp#免交互登陆脚本

setipaddress [lindex $argv 0]

setusername [lindex $argv 1]

setpassword_id_rsa [lindex $argv 2]

setfilepath [lindex $argv 3]

if {$argc != 4 } {

puts"Usage: expect scp.exp ipaddress username id_rsa filepath"

exit 1

}

spawn scp-i $password_id_rsa -l 300000 -r $filepath $username@$ipaddress:$filepath

expect"100%"

expect eof

4.登陆远程机并获取远程md5码的方法

#!/usr/bin/expect

# vi login.exp#免交互登陆脚本

# expectlogin.exp 192.168.0.200 root ~/.ssh/id_rsa

setipaddress [lindex $argv 0]

setusername [lindex $argv 1]

setpassword_id_rsa [lindex $argv 2]

setfilepath [lindex $argv 3]

if {$argc != 4 } {

puts"Usage: expect login.exp ipaddress username id_rsa filepath"

exit 1

}

settimeout 30

spawn ssh-i $password_id_rsa $username@$ipaddress

#spawnssh $username@$ipaddress

#expect"$username@*"{send "df-h\r"}

expect"$username@*"{send"md5sum $filepath\r"}

expect "$username@*"{send "exit\r"}

5.发送备份成功与否的实时信息

通过webQQ接口实时发送

1.8线上自动化备份策略

1.每天凌晨4点全量备份一次,之后每小时增量备份一次

2.多保留一天的备份数据,以便可以按时间点恢复

1.9在其他机器上恢复数据源

当源数据库短时无法恢复的情况下,可以考虑快速将数据库在另一台远程机上恢复,之后将数据源ip切换即可。

已实验,在数据库基础配置一致的情况下,具体操作过程同1.5、1.6方式一致即可。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容