完全备份和增量备份

简介

1·完全备份与增量备份的概念
2·使用 mysqldump 完全备份
3·使用 mysqldump 进行表结构备份
4·完全备份恢复的两种方法
5·使用 flush logs 进行增量备份
6·增量备份恢复
7·基于时间点与位子的恢复
8·MySQL 备份思路


完全备份与增量备份的概念

1·MySQL 完全备份:是对整个数据库的备份、数据库结构和文件结构的备份,保存的是备份完成时刻的数据库,它也是增量备份的基础。它的优点:备份与恢复操作简单,缺点是数据存在大量的重复,占用大量的备份空间,备份时间长。
2·MySQL 增量备份:是针对在上次完全备份或增量备份后被修改的文件才会备份。因为完全备份的 缺点会占用很多的资源,所以增量备份与完全备份这中结合就能解决这样的缺点。
3·MySQL 是没有提供直接的增量备份的办法,但是可以通过MySQL的二进制日志间接实现增量备份。二进制日志保存了所有更新或者可能更新数据库的操作,使用flush logs 可以使日志分割开来,这样就可以识别每次更新的操作会在另一个日志文件中。


实验前准备:

因为这里涉及到数据库的表,所以在这之前就创建好了一张表,如下图所示:


MySQL 完全备份 + 增量备份+完全恢复

mysqldump 完全备份与恢复

1·针对一个库完全备份命令格式:
mysqldump -uroot -p123123 --databases kgc(库名) > /opt/kgc.sql(备份到什么地方)
2·模拟kgc这个库中的表丢失。
mysql> drop tabale school;


MySQL 完全备份 + 增量备份+完全恢复

3·数据库中的表丢失,恢复表的命令格式:
mysql -uroot -p123123 < /opt/kgc.sql ---- (恢复kgc库中的表,重你备份的地方导入即可)
4·验证恢复备份:
mysql> show tables;
mysql> select * from school;


MySQL 完全备份 + 增量备份+完全恢复

5·对数据库所有表进行备份
mysqldump -uroot -p123123 --all-databases > /opt/all.sql ----(对所有库备份加入选项 --all )


6·对库中的一张表的表结构进行备份,注意这里只是备份表结构
mysqldump -uroot -p123123 -d kgc(库名)school(表名) > /opt/desc.sql


MySQL 增量备份

1·增量备份是基于完全备份之后的所修改的数据进行备份,所以这里必须先做完全备份,在做增量备份。上面的实验已经做过了完全备份,现在可以直接做增量分了。
2·要进行MySQL增量备份需要开启二进制日志功能。需要在主配置文件【mysqld】项中加入:log-bin=mysql-bin 如下图:
[root@localhost ~]# vim /etc/my.cnf


MySQL 完全备份 + 增量备份+完全恢复

3·重启MySQL服务、查看二进制日志文件
[root@localhost ~]# systemctl restart mysqld.service


MySQL 完全备份 + 增量备份+完全恢复

4·模拟在表中添加数据,然后把只备份添加的数据。
mysql> insert into school (姓名,成绩) values ('成龙',79);


MySQL 完全备份 + 增量备份+完全恢复

5·模拟故障,因为人员误操作或其他因素,导致表被删除。
使用命令 mysqladmin -uroot -p123123 flush-logs 再次生成一份日志文件,这样接下来对MySQL的记录将会写在新的日志文件中
mysql> drop table school;
mysql> show tables;


MySQL 完全备份 + 增量备份+完全恢复

6·数据恢复。恢复思路
(1)首先需要把完全备份恢复
(2)其次,需要知道我们之前在插入数据的时候的所有操作都会纪律在日志文件中。
(3)最后我们需要重日志文件中恢复之前插入的数据。
(4)这样就能完全恢复之前表中的数据。


MySQL 完全备份 + 增量备份+完全恢复

7·验证数据是否恢复成功。


MySQL 完全备份 + 增量备份+完全恢复

8·基于时间点与位置的恢复
列如:需要往数据库中插入两条数据,但是由于误操作,两条插入语句中间删除了一条数据,而这条数据是不应该被删除的,这个时候就需要恢复到误操作之前,跳过删除这一条数据这个命令,再恢复后面的正确操作。
(1)再次分割日志:
[root@localhost data]# mysqladmin -uroot -p123123 flush-logs
(2)模拟误操作,添加数据的过程中,误删除一条数据,因为大意没注意删除的数据还需要保留,再次继续写入数据


MySQL 完全备份 + 增量备份+完全恢复

9·这时候发现表数据丢失,需要恢复表中被删除的数据。恢复思路:
(1)再次进行日志分割,是接下来的操作归于另一个二进制日志文件中
(2)查看需要恢复的二进制日志文件,找到需要恢复的时间点或位置点并且记录
(3)如果是基于时间点恢复则使用命令:
--stop-datetime(到这个错误操作的时间点停止)
--start-datetime (再到下一个正确的时间点开始)
(4)如果是基于位置的恢复则使用命令:
--stop-position ---(上一次可以正确执行的位子点)
--start-position ---(下一次可以正确执行的位子点)


10·使用以下命令查看二进制日志文件,查找正确与错的时间和位子点:
[root@localhost data]# mysqlbinlog --no-defaults --base64-output=decode-rows -v mysql-bin.000003
查找的内容如下图:


MySQL 完全备份 + 增量备份+完全恢复

11·模拟故障数据库中的表丢失,开始恢复数据,恢复思路:
(1)首先完全备份恢复
(2)其次找到恢复的时间点或者位子点
(3)开始增量备份位子点的恢复(这里我选择位子点恢复)
[root@localhost data]# mysqlbinlog --no-defaults --stop-position='344' /usr/local/mysql/data/mysql-bin.000003 | mysql -uroot -p123123 ---(恢复正确位子点)
[root@localhost data]# mysqlbinlog --no-defaults --start-position='835' /usr/local/mysql/data/mysql-bin.000003 | mysql -uroot -p123123 ---(下一次正确位子点)


总结

1·MySQL 中使用mysqldump 工具备份,它生成的是sql的脚本文件
2·恢复数据使用mysql
3·备份可以针对整库、一些库或表、表结构进行备份。
4·增量备份需要使用分割日志的方式备份
5·增量恢复需要根据日志文件的先后,做个执行
6·使用基于时间和位子的方式恢复,可以更精确的恢复数据
7·大企业应该每周做一次全备,每天做一次增量备份;中小企业应该每天进行一次全备
8·可以结合周期性计划任务进行备份,定时备份。时间主要放在业务需求量较小的时间段。

提供一个sql语句

#!/bin/bash
# full && increment backup and recover
# 说明:事先要创建/data/bak目录,且在执行增量备份时做过至少一次全量备份,否则找不到position文件。
port='3306'
back_src_dir="/data/mysql/${port}/logs/binlog"
back_dir='/data/bak'
DATE=`date +%Y%m%d`
user='root'
pass='cy2009'
bak_db='test1'
mysql_bin='/usr/local/mysql-5.1.48/bin'
socket="/data/mysql/${port}/mysql.sock"

full_bak()
{
cd ${back_dir}
DumpFile=Full_back$DATE.sql
${mysql_bin}/mysqldump --lock-all-tables --flush-logs --master-data=2 -u${user} -p${pass} ${bak_db} > ${DumpFile}
${mysql_bin}/mysql -u${user} -p${pass} --socket=${socket} -e "unlock tables"

#把当前的binlog和position信息存入position文件
cat ${DumpFile} |grep 'MASTER_LOG_FILE'|awk -F"'" '{print $2}' > ${back_dir}/position
cat ${DumpFile} |grep 'MASTER_LOG_FILE'|awk -F"=" '{print $3}' |awk -F";" '{print $1}' >> ${back_dir}/position
}

incre_bak()
{
#锁定表,刷新log
${mysql_bin}/mysql -u${user} -p${pass} --socket=${socket} -e "flush tables with read lock"
${mysql_bin}/mysqladmin -u${user} -p${pass} --socket=${socket} flush-logs
#获取上次备份完成时的binlog和position
cd ${back_dir}
start_binlog=`sed -n '1p' position`
start_pos=`sed -n '2p' position`

#获取目前的binlog和position
mysql -u${user} -p${pass} --socket=${socket} -e "show master status\G" | awk '{print $2}'| sed -n '2,3p' > now_position
stop_binlog=`sed -n '1p' now_position`
stop_pos=`sed -n '2p' now_position`

#如果在同一个binlog中
if [ "${start_binlog}" == "${stop_binlog}" ]; then
${mysql_bin}/mysqlbinlog --start-position=${start_pos} --stop-position=${stop_pos} ${back_src_dir}/${start_binlog} >> Incr_back$DATE.sql 
#跨binlog备份
else
startline=`awk "/${start_binlog}/{print NR}" ${back_src_dir}/mysql-bin.index`
stopline=`wc -l ${back_src_dir}/mysql-bin.index |awk '{print $1}'`
for i in `seq ${startline} ${stopline}`
do
binlog=`sed -n "$i"p ${back_src_dir}/mysql-bin.index |sed 's/.*\///g'`
case "${binlog}" in
"${start_binlog}")
${mysql_bin}/mysqlbinlog --start-position=${start_pos} ${back_src_dir}/${binlog} >> Incr_back$DATE.sql
;;
"${stop_binlog}")
${mysql_bin}/mysqlbinlog --stop-position=${stop_pos} ${back_src_dir}/${binlog} >> Incr_back$DATE.sql
;;
*)
${mysql_bin}/mysqlbinlog ${back_src_dir}/${binlog} >> Incr_back$DATE.sql
;; 
esac
done
fi
#解除表锁定,并保存目前的binlog和position信息到position文件。
${mysql_bin}/mysql -u${user} -p${pass} --socket=${socket} -e "unlock tables"
cp now_position position
}

full_recov()
{
cd ${back_dir}
recov_file1=`ls | grep 'Full_back'`
${mysql_bin}/mysql -u${user} -p${pass} --socket=${socket} -e "use ${bak_db}; source ${back_dir}/${recov_file1};"
}

incre_recov()
{ 
cd ${back_dir}
recov_file2=`ls |grep 'Incr_back'` 
${mysql_bin}/mysql -u${user} -p${pass} --socket=${socket} -e "use ${bak_db}; source ${back_dir}/${recov_file2};"
}

while true
do
echo -e "\t\t**************************************"
echo
echo -e "\t\t\tWelcome to backup program!"
echo
echo -e "\t\t\t(1) Full Backup For MySQL"
echo -e "\t\t\t(2) Increment Backup For MySQL"
echo -e "\t\t\t(3) Recover From The Full Backup File"
echo -e "\t\t\t(4) Recover From The Increment Backup File"
echo -e "\t\t\t(5) Exit The Program!"
echo 
echo -e "\t\t**************************************"

read -p "Enter your choice:" choice
case $choice in
1)
echo "now! let's backup the data by full method......."
full_bak
echo "succeed!"
sleep 2
;;
2)
echo "now! let's backup the data by increment method......"
incre_bak
echo "succeed"
sleep 2
;;
3)
echo "now! let's recover from the full back file"
full_recov
echo "successful"
sleep 2
;;
4)
echo "now! let's recover from the increment backup file"
incre_recov
echo "successful"
sleep 2
;;
5)
break
;;
*)
echo "Wrong Option! try again!"
sleep 2
continue
;;
esac
done

作者:致远1988
链接:https://www.jianshu.com/p/6e723f86017d
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,277评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,689评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,624评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,356评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,402评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,292评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,135评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,992评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,429评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,636评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,785评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,492评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,092评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,723评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,858评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,891评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,713评论 2 354

推荐阅读更多精彩内容

  • 数据备份的重要性 在生产环境中,数据的安全性是至关重要的,任何数据的丢失都可能产生严重的后果 造成数据丢失的原因1...
    SCOR_PIO阅读 1,231评论 0 9
  • 1、MYSQL数据的备份方式有哪些? 答:备份方式有:物理备份、逻辑备份、冷热备份; 物理备份:通...
    RealLuo阅读 3,376评论 0 2
  • 1、备份类型 热备在数据库正常业务时,备份数据,并且能够一致性恢复 冷备关闭数据库业务,数据库没有任何变更的情况下...
    noodlesbook阅读 563评论 0 0
  • 在编写shell脚本的时候,可能会遇到操作mysql数据库的情况。下面介绍如何在shell脚本中操作mysql数据...
    ifcoder阅读 2,603评论 0 2
  • 要求: 周一完全备份,其他时间增量备份 源文件:/tmp/demo/security 目标文件:/tmp/demo...
    隔壁python阅读 193评论 0 1