1. DBA(运维)在备份恢复需要做哪些工作
1.1 设计备份策略
备份周期
天,周,月
备份方式
全备,增量
备份什么
数据,日志
备份类型
冷备,温备,热备备份工具
msqldump
XBK(xtrabackup)
replication
mysqlbinlog
1.2 检查备份
备份文件大小
备份内容头部
1.3 定期恢复演练
正常恢复到测试库
模拟故障进行恢复数据
1.4 快速完整故障恢复
1.5 升级、迁移的工作
2. 备份类型
2.1 冷备
业务停止时进行备份。一致性非常高,业务影响最大。
2.2 温备
锁表备份,只读备份。会阻塞所有的变更,只能读。
2.3 热备
不锁表备份,只能针对事务型引擎的表(例如InnoDB)。业务影响最小
3. 备份工具的介绍
3.1 mysqldump(MDP)
优势:
- 逻辑备份工具
- 备份出来都是SQL语句
- 可读性较强,便于处理
- 是文本格式,压缩比高
- 自带工具
劣势
- 相对较慢,从磁盘调取数据--->内存--->转换成SQL--->磁盘xx.sql
- 不能做增量备份
MySQL Enterprise Backup,(MEB)
3.2 Xtrabackup(percona)XBK,PBK
物理备份工具,备份的数据文件(热备,类似cp),
优势:
- 备份速度快
- 支持热备
- 自带了增量备份功能
劣势:
- 可读性差,不便于人为处理
- 压缩比低
- 需要安装
选择建议
小于100G:mysqldump(MDP),XBK
100G -1T:XBK
超过1TB级别:XBK,MDPfacebook:FB级别的数据量,MDP(二次开发)
4. 备份策略
备份方式:
全备:全库备份,备份所有日志
增量:备份变化的数据
逻辑备份:mysqldummp+binlog
物理备份:XBK_full+xbk_inc+binlog或者xtrabackup_full+binlog
备份周期:
根据数量设计备份周期
比如:周日全备,周一到周六增量
5. mysqldump 逻辑备份
>>(1). 客户端用的参数
-u 指定登录用户
-p 指定密码
-h 指定远程登录主机IP
-P
-S
>>(2). 基础备份参数
-A --all-databases 全库备份 [root@db01 data]$ mysqldump -uroot -pwangxin -A >/backup/full.sql
-B 单库或者多库备份 [root@db01 ~]$ mysqldump -uroot -pwangxin -B world wangxin test > /backup/world_wangxin_test.sql
>>单表或多表备份
[root@db01 data]$ mysqldump -uroot -pwangxin world city country >/backup/world_tables.sql
--- 备份world库下的city表和country表---
《mysqldump -B参数备份的文件不需要建库就可以使用,直接备份需要先建库,所以一般备份需要-B参数》
>>(3). 特殊功能参数
--- -R --triggers -E 数据库特殊对象备份参数
-R 存储过程,函数
triggers 触发器
-E 事件
--- -master-data=2 备份的时候记录一个二进制日志信息(建议2)
1 以注释形式,记录备份时binlog文件名和position号(截取二进制日志的起点)
2 自动锁表功能,加--single-transaction,减少锁表。
3 自动解锁
《-F 备份的时候切割日志(一般不用,日志切割很乱)》
--- --single-transaction
快照备份,热备(仅InnoDB)
--- --set-gtid-purged=OFF (GTID模式独有的参数)
作用,取出gtid所有信息,在日常备份恢复时可加。默认--set-gtid-purged=ON
做主从复制应用的时候,不能加此参数。
--- --max-allowed-packet=256M (设置备份最大包大小)
备份报错: 1153 -Got a packet bigger than 'max_allowed_packet' bytes;
>>全备完整命令:
[root@db01 ~]$ mysqldump -uroot -p123 -A --master-data=2 --single-transaction -R -E --triggers --set-gtid-purged=OFF --max-allowed-packet=256M > /backup/full.sql
>>导出可以 " | gzip >/backup/full_$(date +%F).sql.gz"压缩一下,节省空间。
补充:企业案例
1. 企业故障恢复案例(MDP)
1.1 背景环境:
正在运行的小型网站系统,mysql-5.7.20 数据库,数据量50G.
每天23:00点,计划任务调用mysqldump执行全备脚本
[root@db01 /backup]$ mysqldump -uroot -p123 -A -E -R --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF --max-allowed-packet=256M |gzip > /backup/full_$(date +%F).sql.gz
1.3 故障时间点:
年底故障演练:模拟周三上午10点误删除数据库,并进行恢复.
1.4 恢复思路
(1) 停止故障业务,挂维护页.
(2) 准备测试库,进行全库恢复
(3) 截取从全备开始一直到故障时刻的binlog
(4) 测试数据可用和完整性
(5) 将故障数据导出,导入到生产
(6) 撤维护页,开启业务.
1.5 演练
1.5.1 故障现场 模拟
(1) 模拟数据
oldguo[(none)]>create database mdp charset utf8mb4;
oldguo[(none)]>use mdp
oldguo[mdp]>create table t1(id int) engine=innodb charset=utf8mb4;
oldguo[mdp]>insert into t1 values(1),(2),(3);
oldguo[mdp]>commit;
(2) 模拟晚上23:00全备
mysqldump -uroot -p123 -A -E -R --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF --max-allowed-packet=256M |gzip > /backup/full_$(date +%F).sql.gz
(3)模拟备份后数据变化
oldguo[(none)]>use mdp
oldguo[mdp]>insert into t1 values(11),(12),(13);
oldguo[mdp]>commit;
(4) 搞破坏
oldguo[mdp]>drop database mdp;
1.5.2 恢复故障
(1) 停止故障业务,挂维护页.
略.
略.
(2) 准备备份
全备准备:
[root@db01 /backup]$ gunzip full_2019-08-16.sql.gz
binlog准备:
vim full_2019-08-16.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=929;
| mysql-bin.000001 | 1255 | Query | 6 | 1344 | drop database mdp
mysqlbinlog --skip-gtids --start-position=929 --stop-position=1255 /data/binlog/mysql-bin.000001 >/backup/binlog.sql
(3) 进行恢复
oldguo[mdp]>set sql_log_bin=0;
oldguo[mdp]>source /backup/full_2019-08-16.sql
oldguo[mdp]>source /backup/binlog.sql