自序


相信作为一名DBA来讲MySQL主从一直都是一个绕不开的话题,我们在很多高可用构架中都能看到它的身影。在我们心中一定都或多或少的产生过一些疑问,比如:

  • 主从延迟为什么会高?
  • 主从延迟为什么一直不动?
  • 主从延迟为什么瞬间跳动?
  • 延迟为0就一定代表没有延迟吗?
  • 从库异常重启为什么会报错?
  • 从库能和主库一样利用索引吗?
  • MTS是如何提高从库应用效率的?
  • 为什么会有那么多和从库相关的sync参数,我该怎么配置?
  • mysql.gtid_executed表有什么用?
    ......

这个系列就是想通过描述主从原理,抽丝剥茧解开大家对这些问题的疑惑。我认为如果要深入学习主从原理需要按照一定的顺序进行学习,如果不知道GTID、不知道Event、不知道主库如何生成Event的,那么肯定不能深入理解主从原理 ,因此本系列按照这种顺序讲解。本系列一共分为5个部分如下:

第一部分 GTID相关 第1节: GTID的基本概念
第2节: mysql.gtid_executed表/gtid_executed变量/gtid_purged变量的更改时机
第3节: GTID模块初始化简介和参数binlog_gtid_simple_recovery
第4节: GTID中的运维
第二部分 Event相关 第5节: Binary log Event 的总体格式
第6节: 重点Event FORMAT_DESCRIPTION_EVENT/PREVIOUS_GTIDS_LOG_EVENT
第7节: 重点Event GTID_LOG_EVENT
第8节: 重点Event QUERY_EVENT/MAP_EVENT
第9节: 重点Event WRITE_ROWS_EVENT/DELETE_ROWS_EVENT
第10节:重点Event UPDATE_ROWS_EVENT/XID_EVENT
第11节:参数binlog_row_image的影响
第12节:巧用Event发现问题
第三部分 主库相关 第13节:binlog cache简介
第14节:事务Event的生成和写入流程
第15节:MySQL层事务提交流程简析
第16节:基于WRITESET的并行复制方式
第17节:主库的DUMP线程
第18节:DUMP线程查找和过滤GTID的基本算法
第四部分 从库相关 第19节:从库MTS多线程并行回放(一)
第20节:从库MTS多线程并行回放(二)
第21节:MTS中GAP测试和参数slave_preserve_commit_order
第22节:从库的IO线程
第23节:从库的SQL线程(MTS协调线程)和参数sql_slave_skip_counter
第24节:从库数据的查找和参数slave_rows_search_algorithms
第25节:从库的关闭和恢复流程
第26节:合理的从库设置
第27节:从库Seconds_Behind_Master的计算方式
第28节:从库Seconds_Behind_Master延迟总结
第五部分 其他 第29节:线程简介和MySQL调试环境搭建
第30节:Delete与Insert 死锁案例分析
第31节:Innodb Buffer Pool的三种Page和链表
第32节:利用performance_schema获取造成死锁的语句

其中:

  • 前面29节由我独自编写。
  • 第30节和第31节分别由我的朋友杨奇龙和王航威编写,他们都是有赞的DBA,在平时的交流中我感到他们涉猎之广是我不能及的。
  • 第32节由我的同事田兴椿编写,在平时的工作和学习中他总是能找到一些让我诧异的案例,然后一起学习研究。

讨论范围和约定

本系列使用源码版本为Percona 5.7.22,因此讨论的范围肯定是5.7版本。
本系列虽然包含了主从中的大部分知识点,但是仍然有部分内容没有覆盖,如下:

  • 不覆盖半同步。
  • 只考虑master_info_repository和relay_log_info_repository设置为‘table’的情况。
  • 只考虑binlog_format设置为‘row’的情况。

本系列约定如下:

  • 行格式:binlog_format设置为‘row’。
  • 语句格式:binlog_format设置为‘statement’。
  • binary log:这里代表是我们常说的binlog物理文件。
  • order commit:代表的是‘MYSQL_BIN_LOG::ordered_commit’函数,因为本系列中使用频率很高因此做了简化。将会在15节详细它的流程。
  • GTID AUTO_POSITION MODE:代表主从使用的是GTID同时使用了master_auto_position=1。
  • POSITION MODE:代表主从使用的是传统的位点模式。
  • 单SQL线程:用来和MTS进行区分,代表只有一个SQL线程进行Event的应用。
  • MTS:‘multi-threaded slaves’的简称,包含一个协调线程和多个工作线程,Event由工作线程应用。

编写方式

在编写之初有些朋友建议我不写源码而有些朋友建议我多贴些代码,因此我做了一下综合,整个系列中我会给出一些源码接口和必要的源码证明,但是不会贴很多源码和栈帧。有些章节会包含一个笔记放到我的简书,这个笔记就是我学习的时候记录的源码调用顺序和一些栈帧供自己复习之用也供想了解源码的朋友查看,但是可读性不是那么好。如果对源码不感兴趣的朋友可以跳过这些源码接口和代码,我认为这并不会影响阅读的连续性。

注意

  • 本系列是基于MySQL 5.7编写的。
  • 本系列将开放部分章节用于读者试读。
  • 由于作者能力有限虽然我尽量保证严谨,但是错误在所难免。如果发现错误可以联系我,我会验证后进行更改。可以加入QQ群556787677进行交流。
  • 虚拟物品概不退款
  • 欢迎加入QQ群 556787677

因此请读者确认后购买。

感谢

非常感谢翟卫祥、叶金荣、吴炳锡、李真旭、杨奇龙百忙之中为本系列作推荐序,特别感谢叶金荣为本系列校稿。

最后希望我的两个儿子能够健康快乐的成长。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,504评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,434评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,089评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,378评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,472评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,506评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,519评论 3 413
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,292评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,738评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,022评论 2 329
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,194评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,873评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,536评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,162评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,413评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,075评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,080评论 2 352