【MySQL】12|为什么我的MySQL会“抖”一下

有时会遇到这样的场景,一条SQL语句,正常执行的时候特别快,但是有时也不知道怎么回事,它就会变得很慢,并且这样的场景很难复现,它不只随机,而且持续时间还很短。看上去,就像是数据库“抖”了一下。

1、为什么变慢了

前面我们知道了数据库的WAL机制,InnoDB 在处理更新数据的时候,只做了写日志这一个磁盘操作。这个日志叫做 redo log(重做日志),在更新内存写完redo log 后,就返回给客户端,本次更新成功。

以上操作,只是更新了内存中的数据,那么肯定在某个时机将内存里的数据写入磁盘中。这个操作刷内存数据到磁盘的操作叫做 flush。

当内存数据页和磁盘数据页内容不一致的时候,我们称这个内存页为“脏页”。内存数据写入到磁盘后,内存和磁盘上的数据页的内容就一致了,称为“干净页”。

不论是脏页还是干净页,都在内存中。

回到文章开头的问题,不难想象,平时执行很快的更新操作,其实就是在写内存和日志,而MySQL偶尔“抖”一下的那个瞬间,可能就是在刷脏页(flush)。

引起 flush 操作的可能原因:

  1. InnoDB 的redo log 写满了,这时候系统会停止所有更新操作,把checkpoint 往前推进,redo log 留出空间可以继续写。
redo log

如上图中的 write pos 要追上 check point。

  1. 内存不足时。当需要新的内存页,而内存不够用的时候,就需要淘汰一些数据页,空出内存给别的数据页使用。如果淘汰的是“脏页”,就要先将脏页写到磁盘。
  2. 系统空闲时。MySQL认为空闲的时候,就会找机会刷一点“脏页”。
  3. MySQL正常关闭的时候,这时候会把内存的脏页都flush到磁盘上。

上面四种场景对性能的影响:

第一种:

“redo log 写满了,要flush脏页”,这种情况是InnoDB要尽量避免的。因为出现这种情况的时候,整个系统就不能再接受更新了,所有的更新都必须堵住。如果从监控上看,这时候更新数为0。

第二种:

“内存不够用了,要先将脏页写到磁盘”,这种情况其实是常态。InnoDB用缓冲池(buffer pool)管理内存,缓冲池中的内存页有三种状态:

  1. 还没有使用的
  2. 使用了并且是干净页
  3. 使用了并且是脏页

InnoDB的策略是尽量使用内存,因此对于一个长时间运行的库来说,未被使用的页很少。

而当要读入的数据页没有在内存的时候,就必须到缓冲池中申请一个数据页。这时候只能把最久不使用的数据页从内存中淘汰掉;如果要淘汰的是一个干净页,就直接释放出来复用;但如果是脏页,就必须先把脏页刷到磁盘,变成干净页后才能复用。

第三种:

属于MySQL空闲时的操作,系统没有压力。

第四种:

数据库正常关闭,不会关注性能问题。


所以,刷脏页虽然是常态,但是出现以下情况时,都是会明显影响性能的:

  1. 一个查询要淘汰的脏页个数太多,会导致查询的响应时间明显变长
  2. 日志写满,更新全部堵住,写性能跌为0,这种情况对敏感业务来说,是不能接受的。

所以,InnoDB 需要有控制脏页比例的机制,来尽量避免上面的这两种情况。

2、InnoDB 刷脏页的控制策略

首先,需要正确地告诉InnoDB所在主机的IO能力,这样InnoDB 才能直到需要全力刷脏页的时候,可以刷多快。

这就要用到innodb_io_capacity这个参数了,它会告诉InnoDB 你的磁盘能力。这个值建议设置成磁盘的IOPS。可以用fio 这个工具来测试,下面是命令:

fio -filename=$filename -direct=1 -iodepth 1 -thread -rw=randrw -ioengine=psync -bs=16k -size=500M -numjobs=10 -runtime=10 -group_reporting -name=mytest

其实,因为没能正确地设置innodb_io_capacity参数,而导致的性能问题也比比皆是。

现在InnoDB知道了主机的IO能力,我们再看看InnoDB怎么控制引擎按照“全力”的百分比来刷脏页。如果刷太慢,会导致内存脏页太多,其次是redo log写满。如果刷太快,WAL机制就体现不出来优势。

所以,InnoDB 的刷盘速度要参考两个因素:一是脏页比例,二是 redo log 写盘速度。

InnoDB 会根据这两个因素先单独算出两个数字。

参数 innodb_max_dirty_pages_pct 是脏页比例上限,默认值是75%。InnoDB会根据当前的脏页比例(假设为M),算出一个范围在 0 到 100 之间的数字,计算公式记为F1(M)。

InnoDB 每次写入的日志都有一个序号,当前写入的序号跟 checkpoint 对应的序号之间的差值,我们假设为N。InnoDB会根据这个N算出一个范围在 0 到 100之间的数字,这个计算公式可以记为F2(N),N越大,算出来的值就越大。

然后,根据上述算得的F1(M)和F2(N) 两个值,取其中较大的值记为 R,之后引擎就可以按照 innodb_io_capacity 定义的能力乘以 R%来控制刷脏页的速度。

现在我们知道,InnoDB 会在后台刷脏页,而刷脏页的过程是要将内存页写入磁盘。所以,无论是查询语句在需要内存的时候可能要淘汰一个脏页,还是由于刷脏页的逻辑会占用IO资源并可能影响到更新语句,都可能造成MySQL“抖”了一下。

要尽量避免这种情况,就需要合理地设置innodb_io_capacity的值,并且平时要多关注脏页比例,不要让它接近75%。

其中脏页比例可以通过脏页数/总页数来计算。下面是sql:

select VARIABLE_VALUE into @a from performance_schema.global_status where VARIABLE_NAME = 'Innodb_buffer_pool_pages_dirty'; 
select VARIABLE_VALUE into @b from performance_schema.global_status where VARIABLE_NAME = 'Innodb_buffer_pool_pages_total'; 
select @a/@b;

另外,说一个有趣的策略。

一旦一个查询请求需要在执行过程中先flush掉一个脏页时,这个查询就可能比平时慢了。

而MySQL中的一个机制,可能让它更慢:在准备刷一个脏页的时候,如果这个数据页旁边的数据页刚好是脏页,就会把这个“邻居”页带着一起刷掉;而且这个“邻居”还会拖它的邻居下水,会一直蔓延下去。

在InnoDB中,innodb_flush_neighbors参数就是用来控制这个行为的,值为1的时候会有上述的“连坐”机制,值为0时表示不找邻居。

在机械硬盘时代,这个参数是有意义的,可以减少很多随机IO。但是在SSD时代,建议设置 innodb_flush_neighbors 的值为0。

在MySQL 8.0 中,innodb_flush_neighbors参数的默认值已经是0了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,287评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,346评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,277评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,132评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,147评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,106评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,019评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,862评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,301评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,521评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,682评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,405评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,996评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,651评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,803评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,674评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,563评论 2 352

推荐阅读更多精彩内容