MySQL主从复制探索与故障恢复(一)

探索

很久之前折腾过 MySQL5.7 的主从复制,当时基于docker成功搭建起来了整个复制环境,但是没有深入研究其原理,也没有实际项目应用经验,故准备借此基于 MySQL8.0 研究使用 GTID 的主从复制结构,并模拟各种复制异常事故,为应用于实际项目做准备。

Docker-Compose环境

先用 docker-compose 搭建起需要用到的 master,slave1,slave2 这几个 service。项目目录结构大致如此:

23-1.png

其中,my.cnf 配置如下:

[mysqld]
character-set-server=utf8mb4

server-id=0
log-bin=mysql-bin
binlog_format=ROW
expire_logs_days=365
log_output=table
general_log=on

gtid_mode=on
enforce_gtid_consistency=1

innodb_flush_log_at_trx_commit=1
sync_binlog=1

[mysql]
default-character-set=utf8mb4

[client]
default-character-set=utf8mb4

Dockerfile 暂时只有一句话:

FROM mysql:8.0

3个 service 就只有 server-id 的值不同,其他配置项完全一致。

启动master

docker-compose up -d master
23-2.png

看起来一切正常。

mysql> show variables like "%gtid%";
+----------------------------------+------------------------------------------+
| Variable_name                    | Value                                    |
+----------------------------------+------------------------------------------+
| binlog_gtid_simple_recovery      | ON                                       |
| enforce_gtid_consistency         | ON                                       |
| gtid_executed                    | 2ea01898-2987-11eb-84e5-0242ac140002:1-5 |
| gtid_executed_compression_period | 1000                                     |
| gtid_mode                        | ON                                       |
| gtid_next                        | AUTOMATIC                                |
| gtid_owned                       |                                          |
| gtid_purged                      |                                          |
| session_track_gtids              | OFF                                      |
+----------------------------------+------------------------------------------+
9 rows in set (0.01 sec)

master先来点数据:

23-3.png

创建两个slave用的复制账号:

23-4.png

启动slave

docker-compose up -d slave1 slave2

开始复制

在slave1上依次执行:

change master to master_host='10.0.2.125',master_user='slave1',master_password='slave1',master_auto_position=1;
start slave;
show slave status;

结果发现Slave_IO_Running一直是Connecting状态,想起来是因为docker容易不认识ifconfig里面拿的宿主机ip,于是换成服务名试试:

change master to master_host='master',master_user='slave1',master_password='slave1',master_auto_position=1;
start slave;
show slave status;

然后,又出现新的问题:

23-5.png

经查阅 https://dev.mysql.com/doc/refman/8.0/en/change-master-to.html ,添加GET_MASTER_PUBLIC_KEY=1可以解决。

重新尝试,又出现:

 Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Misconfigured master - master server_id is 0'

意思是 mater 的server_id 不能设置成0……

于是,将master的server_id改成100重新启动后,再次开启slave1上的slave,终于看到了曙光:

Slave_IO_Running: Yes
Slave_SQL_Running: Yes
23-6.png

可以看到数据已经同步到了slave1,同理,现在去操作slave2。

开启slave2

为了让过程看起来更“正常”一点,我先在slave2上面添加一些数据:

create database slave2;

然后开启复制:

change master to master_host='master',master_user='slave1',master_password='slave1',master_auto_position=1,GET_MASTER_PUBLIC_KEY=1;
start slave;
show slave status\G;

发现竟然没有问题,test01数据库同步过来了,slave2数据库也存在。

开始捣鼓

异步 or 半同步 or 全同步

在很久以前,MySQL一直采用的是异步复制,也就是说主库并不会管从库的同步速度,如果从库crash,就会导致数据丢失。于是MySQL5.5引入了半同步复制,主库在事务提交前需要保证至少有一个从库接收并写到relay log。在2016年,MySQL在5.7.17中引入了一个全新的技术,称之为InnoDB Group Replication。目前官方MySQL 5.7.17基于Group replication的全同步技术已经问世,全同步技术带来了更多的数据一致性保障。

MySQL默认是异步复制,我们先验证一下,关闭两个slave,在master执行事务,看能不能提交:

docker-compose stop slave1 slave2
23-7.png

可以看到能成功提交。

半同步复制

要支持半同步复制,需要安装插件。过程很简单:

23-8.png

在slave1与slave2完成相应slave插件的安装。

查看半同步复制是否启用成功:

主库:

23-9.png

从库:

23-10.png

主库Rpl_semi_sync_master_status 和从库 Rpl_semi_sync_slave_status 都为 ON 标识半同步复制安装配置成功。

测试在slave全部挂掉的情况下,master的事务是否可以提交:

23-11.png

起初观察到 commit 语句阻塞了,满足我们的预期,但是过了一会,commit竟然成功了,查看数据,update已生效。挺纳闷儿的,不是说必须要保证一个从库写 relay_log 成功吗?

先不管了,把 slave1 和 slave2 启动看看情况:

23-12.png

master 刚刚 update 的数据也同步过来了……

再来查看半同步复制状态呢?

23-13.png

停止了!!!

没错,这是因为在超时情况下,半同步复制退化成了异步复制,超时时间可配置:

23-14.png

以上配置表示超时时间10秒钟,只要有一个从库ACK,即可commit事务。

重新开启半同步复制:

主库执行 SET GLOBAL rpl_semi_sync_master_enabled = 1;,从库执行 SET GLOBAL rpl_semi_sync_slave_enabled = 1; 然后重新开始复制即可。

今天就先折腾到这里,改天继续来~
github:https://github.com/Purelightme/mysql_replication_docker

2020-11-20

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,658评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,482评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,213评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,395评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,487评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,523评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,525评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,300评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,753评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,048评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,223评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,905评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,541评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,168评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,417评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,094评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,088评论 2 352

推荐阅读更多精彩内容