mysql双机热备

A、MySql双机热备概述

双机热备就是使用MySQL提供的一种主从备份机制实现。所谓双机热备其实是一个复制的过程,复制过程中一个服务器充当主服务器,一个或多个服务器充当从服务。这个复制的过程实质上是从服务器复制主服务器上MySQL的二进制日志(bin-log),并在从服务器上还原主服务器上的操作。

双机热备的实现需要MySQL的版本高于3.2。另外由于这种备份是基于MySQL二进制日志实现,所以主从服务器上的MySQL版本最好能够一样,至少从服务器的MySQL版本不可以低于主服务器的数据库版本。因为MySQL不同的版本之间二进制日志可能不一样。

配置参数说明

Server-id

ID值唯一的标识了复制群集中的主从服务器,因此它们必须各不相同。Master_id必须为1到232-1之间的一个正整数值,slave_id值必须为2到232-1之间的一个正整数值。

Log-bin

表示打开binlog,打开该选项才可以通过I/O写到Slave的relay-log,也是可以进行replication的前提。

Binlog-do-db

表示需要记录二进制日志的数据库。如果有多个数据可以用逗号分隔,或者使用多个binlog-do-dg选项。

Binglog-ingore-db

表示不需要记录二进制日志的数据库,如果有多个数据库可用逗号分隔,或者使用多binglog-ignore-db选项。

Replicate-do-db

表示需要同步的数据库,如果有多个数据可用逗号分隔,或者使用多个replicate-do-db选项。

Replicate-ignore-db

表示不需要同步的数据库,如果有多个数据库可用逗号分隔,或者使用多个replicate-ignore-db选项。

Master-connect-retry

master-connect-retry=n表示从服务器与主服务器的连接没有成功,则等待n秒(s)后再进行管理方式(默认设置是60s)。如果从服务器存在mater.info文件,它将忽略些选项。

Log-slave-updates

配置从库上的更新操作是否写入二进制文件,如果这台从库,还要做其他从库的主库,那么就需要打这个参数,以便从库的从库能够进行日志同步。

Slave-skip-errors

在复制过程,由于各种原因导致binglo中的sql出错,默认情况下,从库会停止复制,要用户介入。可以设置slave-skip-errors来定义错误号,如果复制过程中遇到的错误是定义的错误号,便可以路过。如果从库是用来做备份,设置这个参数会存在数据不一致,不要使用。如果是分担主库的查询压力,可以考虑。

Sync_binlog=1 Or N

Sync_binlog的默认值是0,这种模式下,MySQL不会同步到磁盘中去。这样的话,Mysql依赖操作系统来刷新二进制日志binary log,就像操作系统刷新其他文件的机制一样。因此如果操作系统或机器(不仅仅是Mysql服务器)崩溃,有可能binlog中最后的语句丢失了。要想防止这种情况,可以使用sync_binlog全局变量,使binlog在每N次binlog写入后与硬盘同步。当sync_binlog变量设置为1是最安全的,因为在crash崩溃的情况下,你的二进制日志binary log只有可能丢失最多一个语句或者一个事务。但是,这也是最慢的一种方式(除非磁盘有使用带蓄电池后备电源的缓存cache,使得同步到磁盘的操作非常快)。

即使sync_binlog设置为1,出现崩溃时,也有可能表内容和binlog内容之间存在不一致性。如果使用InnoDB表,Mysql服务器处理COMMIT语句,它将整个事务写入binlog并将事务提交到InnoDB中。如果在两次操作之间出现崩溃,重启时,事务被InnoDB回滚,但仍然存在binlog中。可以用-innodb-safe-binlog选项来增加InnoDB表内容和binlog之间的一致性。(注释:在Mysql 5.1版本中不需要-innodb-safe-binlog;由于引入了XA事务支持,该选项作废了),该选项可以提供更大程度的安全,使每个事务的binlog(sync_binlog=1)和(默认情况为真)InnoDB日志与硬盘同步,该选项的效果是崩溃后重启时,在滚回事务后,Mysql服务器从binlog剪切回滚的InnoDB事务。这样可以确保binlog反馈InnoDB表的确切数据等,并使从服务器保持与主服务器保持同步(不接收回滚的语句)。

Auto_increment_offset和Auto_increment_increment

Auto_increment_increment和auto_increment_offset用于主-主服务器(master-to-master)复制,并可以用来控制AUTO_INCREMENT列的操作。两个变量均可以设置为全局或局部变量,并且假定每个值都可以为1到65,535之间的整数值。将其中一个变量设置为0会使该变量为1。

这两个变量影响AUTO_INCREMENT列的方式:auto_increment_increment控制列中的值的增量值,auto_increment_offset确定AUTO_INCREMENT列值的起点。

如果auto_increment_offset的值大于auto_increment_increment的值,则auto_increment_offset的值被忽略。例如:表内已有一些数据,就会用现在已有的最大自增值做为初始值。


image.png
B、 MySQL双机热备份配置步骤

假设主服务器A(master)、从服务器为B(slave)。两服务器Ip为:A——10.0.21.223,B——10.0.21.221。本文服务器A采用windows操作系统,服务器B采用centos7.9,目的是为了一次说明windows和Linux不同环境中的配置。

步骤一:主服务器授权

在主服务器A上创建一个username和password供从服务器B访问时使用。在MySQL命令行下输入

mysql>GRANT FILE,SELECT,REPLICATION SLAVE ON *.* TO backup@10.0.21.221 IDENTIFIED BY'123456';

步骤二:数据复制

将A上已有的数据备份到B上,以便主从数据库建立的时候两个数据库的数据保持一致(这里复制的方法有很多,但必须保证两个数据库的数据完全相同)。

步骤三:配置主服务器

主服务器A是windows操作系统,其mysql配置文件在mysql安装目录下的my.ini文件。我们对主服务器的配置都在my.ini中。

停止A服务器上的mysql服务,打开my.ini配置文件。在my.ini中找到[mysqld],并在[mysqld]区域内做如下修改:

[mysqld]

server-id=1#是1~2^23-1内的唯一值且不能与B或其它slave服务中的配置相同

log-bin = bin_log#日志文件以bin_log为前缀,如果不给log-bin赋值,日志文件将以#master-server-hostname为前缀

binlog-ignore-db= test#日志文件跳过的数据库(可选属性 ),如果有多个数据库,可以重复配置这个属性

binlog-do-db= db_test #日志文件操作的数据库(可选属性 ,默认所有数据库的相关操作都写入二进制日志文件) ,如果有多个数据库,可以重复配置这个属性

expire_logs_days=30 #设置bin-log日志保存的天数

步骤四:重启A中的MySQL服务

配置完上面选项后,重启A上的MySQL服务,这时候A上所有对qxpt_demo数据库的更新操作都会被记录到二进制日志中。

步骤五:配置slave

本文中slave所在的B服务器是linux环境,其MySQL配置文件在/etc/my.cnf中。

在slave的my.cnf中 [mysqld],并在其中做如下配置:

[mysqld]

server-id=2#唯一并与主服务器上的server-id不同。

replicate-do-db= db_test#复制操作要针对的数据库(可选,默认为全部),同样如果有多个数据库则可配置多次本属性。

expire_logs_days=30 #设置bin-log日志保存的天数

步骤六:重启并对slave进行设置

重启B服务器上的MySQL服务,用mysql -uroot -p 登录MySQL,并执行如下命令:

mysql> change master to \

-> master_host='10.0.21.221',//主服务器的IP地址

-> master_user='backup',//同步数据库的用户

-> master_password=’123456’;//同步数据库的密码

注:MySQL 5.1.7之前上面命令中的参数都可以在my.cnf配置文件的[mysqld]区域中配置。

  • 参数说明

mysql>show slave status;
mysql>change master to master_host='10.0.21.221',
master_user='backup',
master_password='123456',
master_port=3306,
master_log_file='test-mysql-bin.000001',
master_log_pos=1612,
master_connect_retry=30;

   
    master_host='11.11.11.61':主节点的IP地址
    master_user='admin':刚才在Master建立的用于同步数据库的用户
    master_password='xiaoliu':主节点同步用户的密码
    master_port=3306:Master节点数据库的端口
    master_log_file='lyz-mysql-bin.000001':指定Slave从哪个日志文件开始读取复制文件(可在Master上使用show master status查看到日志文件名)
    master_log_pos=1312:从哪个POSITION号开始读(可在Master上使用show master status查看)
    master_connect_retry=30:当重新建立主从连接时,如果连接建立失败,间隔多久后重试,单位为秒,默认设置为60秒,同步延迟调优参数。

步骤七:重启并对slave进行设置

MySQL中执行show slave status;命令查看slave状态:

image.png

这时候slave还未启动,我们只要在MySQL中执行start slave; 即可启动slave。这时候slave_io_running和slave_sql_runing的值都应该变为yes。

经过以上六个步骤我们就可以实现从A到B的单向热备份。这时候我们对A中db_test数据库进行修改等影响数据库数据及结构的操作会被复制到B中。

C、 MySQL双机热备份原理

MySQL的双机热备份是一个异步的复制(replication),slave的备份数据实际上就是从master端获取其binlog日志后,在自己身上完全顺序的执行日志中记录的各种操作。实现整个复制操作主要由三个步骤:

(1) master将改变记录到二进制日志(bin-log)中;

(2)slave将master的bin-log拷贝到它的中继日志(relay log);

(3) slave重做中继日志中的事件,将改变反映它自己的数据。

在网上找了一个个人感觉比较好的图,如下:

image

结合本图可以看出双机热备的具体步骤如下:

(1)在每个事务更新数据完成之前,master在二日志记录这些改变。MySQL将事务串行的写入二进制日志,在事件写入二进制日志完成后,提交事物。

(2)slave开始一个工作线程——I/O线程。slave的io进程链接到master后,向master请求指定位置的日志内容。

(3) master接受到slave的请求后,通过master的io读取指定日志内容及bin-log文件的相关信息(slave status中Master_Log_File和Read_Master_Log_Pos属性),并返回给slave的io进程。

(4)slave接收到信息后,将接受到的日志内容依次添加到slave端的relay-log(在MySQLdata目录中)的最末端,并读取master传过来的bin-log文件信息,将bin-log的文件信息存到master.info文件中,以便下一次请求能够清楚的告诉master需要读取bin-log的哪个位置开始往后的日志内容。

(5)slave的sql进程检测到relay-log中新增内容后,会立刻解析relay-log的内容,将其解析成在master端真实执行的那些可执行内容,并在slave自身执行。

PS 操作从库修改一条记录报错

先操作从库修改一条记录,又去主库修改,会造成同步出错

去从库执行

mysql>stop slave;
mysql>set global sql_slave_skip_counter=1;
mysql>start slave;

或者在主库执行,记住这里的File_size,后面从库的pos会用到

mysql>show master logs;

image.png

然后去从库执行

mysql>show slave status;
mysql>stop slave;
mysql>change master to master_log_pos=154, master_log_file='bin_log.000009';
mysql>start slave
mysql>show slave status;

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,284评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,115评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,614评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,671评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,699评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,562评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,309评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,223评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,668评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,859评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,981评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,705评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,310评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,904评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,023评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,146评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,933评论 2 355

推荐阅读更多精彩内容