A、MySql双机热备概述
双机热备就是使用MySQL提供的一种主从备份机制实现。所谓双机热备其实是一个复制的过程,复制过程中一个服务器充当主服务器,一个或多个服务器充当从服务。这个复制的过程实质上是从服务器复制主服务器上MySQL的二进制日志(bin-log),并在从服务器上还原主服务器上的操作。
双机热备的实现需要MySQL的版本高于3.2。另外由于这种备份是基于MySQL二进制日志实现,所以主从服务器上的MySQL版本最好能够一样,至少从服务器的MySQL版本不可以低于主服务器的数据库版本。因为MySQL不同的版本之间二进制日志可能不一样。
配置参数说明
Server-id
ID值唯一的标识了复制群集中的主从服务器,因此它们必须各不相同。Master_id必须为1到232-1之间的一个正整数值,slave_id值必须为2到232-1之间的一个正整数值。
Log-bin
表示打开binlog,打开该选项才可以通过I/O写到Slave的relay-log,也是可以进行replication的前提。
Binlog-do-db
表示需要记录二进制日志的数据库。如果有多个数据可以用逗号分隔,或者使用多个binlog-do-dg选项。
Binglog-ingore-db
表示不需要记录二进制日志的数据库,如果有多个数据库可用逗号分隔,或者使用多binglog-ignore-db选项。
Replicate-do-db
表示需要同步的数据库,如果有多个数据可用逗号分隔,或者使用多个replicate-do-db选项。
Replicate-ignore-db
表示不需要同步的数据库,如果有多个数据库可用逗号分隔,或者使用多个replicate-ignore-db选项。
Master-connect-retry
master-connect-retry=n表示从服务器与主服务器的连接没有成功,则等待n秒(s)后再进行管理方式(默认设置是60s)。如果从服务器存在mater.info文件,它将忽略些选项。
Log-slave-updates
配置从库上的更新操作是否写入二进制文件,如果这台从库,还要做其他从库的主库,那么就需要打这个参数,以便从库的从库能够进行日志同步。
Slave-skip-errors
在复制过程,由于各种原因导致binglo中的sql出错,默认情况下,从库会停止复制,要用户介入。可以设置slave-skip-errors来定义错误号,如果复制过程中遇到的错误是定义的错误号,便可以路过。如果从库是用来做备份,设置这个参数会存在数据不一致,不要使用。如果是分担主库的查询压力,可以考虑。
Sync_binlog=1 Or N
Sync_binlog的默认值是0,这种模式下,MySQL不会同步到磁盘中去。这样的话,Mysql依赖操作系统来刷新二进制日志binary log,就像操作系统刷新其他文件的机制一样。因此如果操作系统或机器(不仅仅是Mysql服务器)崩溃,有可能binlog中最后的语句丢失了。要想防止这种情况,可以使用sync_binlog全局变量,使binlog在每N次binlog写入后与硬盘同步。当sync_binlog变量设置为1是最安全的,因为在crash崩溃的情况下,你的二进制日志binary log只有可能丢失最多一个语句或者一个事务。但是,这也是最慢的一种方式(除非磁盘有使用带蓄电池后备电源的缓存cache,使得同步到磁盘的操作非常快)。
即使sync_binlog设置为1,出现崩溃时,也有可能表内容和binlog内容之间存在不一致性。如果使用InnoDB表,Mysql服务器处理COMMIT语句,它将整个事务写入binlog并将事务提交到InnoDB中。如果在两次操作之间出现崩溃,重启时,事务被InnoDB回滚,但仍然存在binlog中。可以用-innodb-safe-binlog选项来增加InnoDB表内容和binlog之间的一致性。(注释:在Mysql 5.1版本中不需要-innodb-safe-binlog;由于引入了XA事务支持,该选项作废了),该选项可以提供更大程度的安全,使每个事务的binlog(sync_binlog=1)和(默认情况为真)InnoDB日志与硬盘同步,该选项的效果是崩溃后重启时,在滚回事务后,Mysql服务器从binlog剪切回滚的InnoDB事务。这样可以确保binlog反馈InnoDB表的确切数据等,并使从服务器保持与主服务器保持同步(不接收回滚的语句)。
Auto_increment_offset和Auto_increment_increment
Auto_increment_increment和auto_increment_offset用于主-主服务器(master-to-master)复制,并可以用来控制AUTO_INCREMENT列的操作。两个变量均可以设置为全局或局部变量,并且假定每个值都可以为1到65,535之间的整数值。将其中一个变量设置为0会使该变量为1。
这两个变量影响AUTO_INCREMENT列的方式:auto_increment_increment控制列中的值的增量值,auto_increment_offset确定AUTO_INCREMENT列值的起点。
如果auto_increment_offset的值大于auto_increment_increment的值,则auto_increment_offset的值被忽略。例如:表内已有一些数据,就会用现在已有的最大自增值做为初始值。
B、 MySQL双机热备份配置步骤
假设主服务器A(master)、从服务器为B(slave)。两服务器Ip为:A——10.0.21.223,B——10.0.21.221。本文服务器A采用windows操作系统,服务器B采用centos7.9,目的是为了一次说明windows和Linux不同环境中的配置。
步骤一:主服务器授权
在主服务器A上创建一个username和password供从服务器B访问时使用。在MySQL命令行下输入
mysql>GRANT FILE,SELECT,REPLICATION SLAVE ON *.* TO backup@10.0.21.221 IDENTIFIED BY'123456';
步骤二:数据复制
将A上已有的数据备份到B上,以便主从数据库建立的时候两个数据库的数据保持一致(这里复制的方法有很多,但必须保证两个数据库的数据完全相同)。
步骤三:配置主服务器
主服务器A是windows操作系统,其mysql配置文件在mysql安装目录下的my.ini文件。我们对主服务器的配置都在my.ini中。
停止A服务器上的mysql服务,打开my.ini配置文件。在my.ini中找到[mysqld],并在[mysqld]区域内做如下修改:
[mysqld]
server-id=1#是1~2^23-1内的唯一值且不能与B或其它slave服务中的配置相同
log-bin = bin_log#日志文件以bin_log为前缀,如果不给log-bin赋值,日志文件将以#master-server-hostname为前缀
binlog-ignore-db= test#日志文件跳过的数据库(可选属性 ),如果有多个数据库,可以重复配置这个属性
binlog-do-db= db_test #日志文件操作的数据库(可选属性 ,默认所有数据库的相关操作都写入二进制日志文件) ,如果有多个数据库,可以重复配置这个属性
expire_logs_days=30 #设置bin-log日志保存的天数
步骤四:重启A中的MySQL服务
配置完上面选项后,重启A上的MySQL服务,这时候A上所有对qxpt_demo数据库的更新操作都会被记录到二进制日志中。
步骤五:配置slave
本文中slave所在的B服务器是linux环境,其MySQL配置文件在/etc/my.cnf中。
在slave的my.cnf中 [mysqld],并在其中做如下配置:
[mysqld]
server-id=2#唯一并与主服务器上的server-id不同。
replicate-do-db= db_test#复制操作要针对的数据库(可选,默认为全部),同样如果有多个数据库则可配置多次本属性。
expire_logs_days=30 #设置bin-log日志保存的天数
步骤六:重启并对slave进行设置
重启B服务器上的MySQL服务,用mysql -uroot -p 登录MySQL,并执行如下命令:
mysql> change master to \
-> master_host='10.0.21.221',//主服务器的IP地址
-> master_user='backup',//同步数据库的用户
-> master_password=’123456’;//同步数据库的密码
注:MySQL 5.1.7之前上面命令中的参数都可以在my.cnf配置文件的[mysqld]区域中配置。
- 参数说明
mysql>show slave status;
mysql>change master to master_host='10.0.21.221',
master_user='backup',
master_password='123456',
master_port=3306,
master_log_file='test-mysql-bin.000001',
master_log_pos=1612,
master_connect_retry=30;
master_host='11.11.11.61':主节点的IP地址
master_user='admin':刚才在Master建立的用于同步数据库的用户
master_password='xiaoliu':主节点同步用户的密码
master_port=3306:Master节点数据库的端口
master_log_file='lyz-mysql-bin.000001':指定Slave从哪个日志文件开始读取复制文件(可在Master上使用show master status查看到日志文件名)
master_log_pos=1312:从哪个POSITION号开始读(可在Master上使用show master status查看)
master_connect_retry=30:当重新建立主从连接时,如果连接建立失败,间隔多久后重试,单位为秒,默认设置为60秒,同步延迟调优参数。
步骤七:重启并对slave进行设置
MySQL中执行show slave status;命令查看slave状态:
这时候slave还未启动,我们只要在MySQL中执行start slave; 即可启动slave。这时候slave_io_running和slave_sql_runing的值都应该变为yes。
经过以上六个步骤我们就可以实现从A到B的单向热备份。这时候我们对A中db_test数据库进行修改等影响数据库数据及结构的操作会被复制到B中。
C、 MySQL双机热备份原理
MySQL的双机热备份是一个异步的复制(replication),slave的备份数据实际上就是从master端获取其binlog日志后,在自己身上完全顺序的执行日志中记录的各种操作。实现整个复制操作主要由三个步骤:
(1) master将改变记录到二进制日志(bin-log)中;
(2)slave将master的bin-log拷贝到它的中继日志(relay log);
(3) slave重做中继日志中的事件,将改变反映它自己的数据。
在网上找了一个个人感觉比较好的图,如下:
结合本图可以看出双机热备的具体步骤如下:
(1)在每个事务更新数据完成之前,master在二日志记录这些改变。MySQL将事务串行的写入二进制日志,在事件写入二进制日志完成后,提交事物。
(2)slave开始一个工作线程——I/O线程。slave的io进程链接到master后,向master请求指定位置的日志内容。
(3) master接受到slave的请求后,通过master的io读取指定日志内容及bin-log文件的相关信息(slave status中Master_Log_File和Read_Master_Log_Pos属性),并返回给slave的io进程。
(4)slave接收到信息后,将接受到的日志内容依次添加到slave端的relay-log(在MySQLdata目录中)的最末端,并读取master传过来的bin-log文件信息,将bin-log的文件信息存到master.info文件中,以便下一次请求能够清楚的告诉master需要读取bin-log的哪个位置开始往后的日志内容。
(5)slave的sql进程检测到relay-log中新增内容后,会立刻解析relay-log的内容,将其解析成在master端真实执行的那些可执行内容,并在slave自身执行。
PS 操作从库修改一条记录报错
先操作从库修改一条记录,又去主库修改,会造成同步出错
去从库执行
mysql>stop slave;
mysql>set global sql_slave_skip_counter=1;
mysql>start slave;
或者在主库执行,记住这里的File_size,后面从库的pos会用到
mysql>show master logs;
然后去从库执行
mysql>show slave status;
mysql>stop slave;
mysql>change master to master_log_pos=154, master_log_file='bin_log.000009';
mysql>start slave
mysql>show slave status;