Change Buffer【Mysql InnoDB系列】

什么是Change Buffer?

Change Buffer是一种用于缓存二级索引页变化的特殊数据结构,是缓冲池中一块独立的区域。当需要修改的二级索引页不在缓冲池中而在磁盘中时,会将这些索引页的变化缓存在change buffer中。


Change Buffer

为什么二级索引需要Change Buffer?


  • 减少随机读取IO

    对于聚集索引页,DML操作带来的数据磁盘读取和缓存修改往往是顺序的、集中的,这就很好地利用了聚集索引的优点,但随着聚集索引页的顺序IO,各个二级索引页的读取和修改通常是随机IO的。而Change buffer将分散的、未缓存的二级索引页的变化进行缓存而非直接从磁盘中读取索引页,待到其他操作需要访问二级索引时,只需将change buffer中的变化缓存合并然后加入缓冲池就行了,这样就大大地减少了磁盘随机读取的IO。

  • 定期批量写入索引变化

    为了避免change buffer使用过多,二级索引页的变化也必须定期地写入磁盘,这个操作叫做purge,相较于立即将索引页变化写入磁盘而言,这种批量的写入自然是更加高效。InnoDB主线程会在服务器空闲时进行purge操作

    但需要注意的是,当需要更新的二级索引页过多时,change buffer的purge操作可能需要花费几个小时,期间,磁盘IO会增加,可能会严重影响磁盘IO密集的查询。合理配置change buffer可避免这种情况的发生。

如何配置change buffer?

可以用innodb_change_buffering系统变量控制change buffer相关的行为。可以控制change buffer只对部分类操作生效。该变量的值和含义如下:

  • all

    默认值,表示缓存所有DML语句和物理purge操作的索引页变化。

  • none

    不对任何操作缓存,相当于禁用

  • inserts

    只缓存insert

  • deletes

    只缓存标记性delete操作

  • changes

    只缓存写入和标记性delete

  • purges

    只缓存后台物理删除操作

注意:
innodb_change_buffering参数可动态修改,只对修改后发生的操作生效,修改前已缓存的索引页不受影响

可以用innodb_change_buffer_max_size变量控制change buffer区域的最大大小,表示占缓冲池总大小的百分点数。默认为25。最大可以设置为50。

当DML语句量较多时,可以适当扩大innodb_change_buffer_max_size.反则反之。

如何监控Change buffer的使用?

  • show engine innodb status命令可用于查看change buffer的使用情况,包含于INSERT BUFFER AND ADAPTIVE HASH INDEX部分:
-------------------------------------
INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------
Ibuf: size 1, free list len 0, seg size 2, 0 merges
merged operations:
 insert 0, delete mark 0, delete 0
discarded operations:
 insert 0, delete mark 0, delete 0
Hash table size 4425293, used cells 32, node heap has 1 buffer(s)
13577.57 hash searches/s, 202.47 non-hash searches/s

Ibuf: size 1, free list len 0, seg size 2, 0 merges
size为当前使用的change buffers页数,seg size表示change buffer分配的总页数。

  • 也可以用下面的SQL查看change buffer更详细的使用统计
select * from information_schema.innodb_metrics 
where subsystem like 'change_buffer'\G

*************************** 1. row ***************************
           NAME: ibuf_merges_insert
      SUBSYSTEM: change_buffer
          COUNT: 198469
      MAX_COUNT: 198469
      MIN_COUNT: NULL
      AVG_COUNT: 0.13473886448652062
    COUNT_RESET: 198469
MAX_COUNT_RESET: 198469
MIN_COUNT_RESET: NULL
AVG_COUNT_RESET: NULL
   TIME_ENABLED: 2019-07-30 16:04:56
  TIME_DISABLED: NULL
   TIME_ELAPSED: 1472990
     TIME_RESET: NULL
         STATUS: enabled
           TYPE: status_counter
        COMMENT: Number of inserted records merged by change buffering
*************************** 2. row ***************************
           NAME: ibuf_merges_delete_mark
      SUBSYSTEM: change_buffer
          COUNT: 35361
      MAX_COUNT: 35361
      MIN_COUNT: NULL
      AVG_COUNT: 0.02400627295500988
    COUNT_RESET: 35361
MAX_COUNT_RESET: 35361
MIN_COUNT_RESET: NULL
AVG_COUNT_RESET: NULL
   TIME_ENABLED: 2019-07-30 16:04:56
  TIME_DISABLED: NULL
   TIME_ELAPSED: 1472990
     TIME_RESET: NULL
         STATUS: enabled
           TYPE: status_counter
        COMMENT: Number of deleted records merged by change buffering
*************************** 3. row ***************************
           NAME: ibuf_merges_delete
      SUBSYSTEM: change_buffer
          COUNT: 875
      MAX_COUNT: 875
      MIN_COUNT: NULL
      AVG_COUNT: 0.0005940298304808587
    COUNT_RESET: 875
MAX_COUNT_RESET: 875
MIN_COUNT_RESET: NULL
AVG_COUNT_RESET: NULL
   TIME_ENABLED: 2019-07-30 16:04:56
  TIME_DISABLED: NULL
   TIME_ELAPSED: 1472990
     TIME_RESET: NULL
         STATUS: enabled
           TYPE: status_counter
        COMMENT: Number of purge records merged by change buffering
*************************** 4. row ***************************
           NAME: ibuf_merges_discard_insert
      SUBSYSTEM: change_buffer
          COUNT: 0
      MAX_COUNT: 0
      MIN_COUNT: NULL
      AVG_COUNT: 0
    COUNT_RESET: 0
MAX_COUNT_RESET: 0
MIN_COUNT_RESET: NULL
AVG_COUNT_RESET: NULL
   TIME_ENABLED: 2019-07-30 16:04:56
  TIME_DISABLED: NULL
   TIME_ELAPSED: 1472990
     TIME_RESET: NULL
         STATUS: enabled
           TYPE: status_counter
        COMMENT: Number of insert merged operations discarded
*************************** 5. row ***************************
           NAME: ibuf_merges_discard_delete_mark
      SUBSYSTEM: change_buffer
          COUNT: 0
      MAX_COUNT: 0
      MIN_COUNT: NULL
      AVG_COUNT: 0
    COUNT_RESET: 0
MAX_COUNT_RESET: 0
MIN_COUNT_RESET: NULL
AVG_COUNT_RESET: NULL
   TIME_ENABLED: 2019-07-30 16:04:56
  TIME_DISABLED: NULL
   TIME_ELAPSED: 1472990
     TIME_RESET: NULL
         STATUS: enabled
           TYPE: status_counter
        COMMENT: Number of deleted merged operations discarded
*************************** 6. row ***************************
           NAME: ibuf_merges_discard_delete
      SUBSYSTEM: change_buffer
          COUNT: 0
      MAX_COUNT: 0
      MIN_COUNT: NULL
      AVG_COUNT: 0
    COUNT_RESET: 0
MAX_COUNT_RESET: 0
MIN_COUNT_RESET: NULL
AVG_COUNT_RESET: NULL
   TIME_ENABLED: 2019-07-30 16:04:56
  TIME_DISABLED: NULL
   TIME_ELAPSED: 1472990
     TIME_RESET: NULL
         STATUS: enabled
           TYPE: status_counter
        COMMENT: Number of purge merged  operations discarded
*************************** 7. row ***************************
           NAME: ibuf_merges
      SUBSYSTEM: change_buffer
          COUNT: 178009
      MAX_COUNT: 178009
      MIN_COUNT: NULL
      AVG_COUNT: 0.12084874982179106
    COUNT_RESET: 178009
MAX_COUNT_RESET: 178009
MIN_COUNT_RESET: NULL
AVG_COUNT_RESET: NULL
   TIME_ENABLED: 2019-07-30 16:04:56
  TIME_DISABLED: NULL
   TIME_ELAPSED: 1472990
     TIME_RESET: NULL
         STATUS: enabled
           TYPE: status_counter
        COMMENT: Number of change buffer merges
*************************** 8. row ***************************
           NAME: ibuf_size
      SUBSYSTEM: change_buffer
          COUNT: 1
      MAX_COUNT: 1
      MIN_COUNT: NULL
      AVG_COUNT: 0.0000006788912348352671
    COUNT_RESET: 1
MAX_COUNT_RESET: 1
MIN_COUNT_RESET: NULL
AVG_COUNT_RESET: NULL
   TIME_ENABLED: 2019-07-30 16:04:56
  TIME_DISABLED: NULL
   TIME_ELAPSED: 1472990
     TIME_RESET: NULL
         STATUS: enabled
           TYPE: status_counter
        COMMENT: Change buffer size in pages
8 rows in set (0.01 sec)
  • information_schema.innodb_buffer_page系统表中存放的是每个缓冲池中的页的元数据,也可以用于统计change buffer的使用情况:
mysql> SELECT (SELECT COUNT(*) FROM INFORMATION_SCHEMA.INNODB_BUFFER_PAGE
       WHERE PAGE_TYPE LIKE 'IBUF%') AS change_buffer_pages, 
       (SELECT COUNT(*) FROM INFORMATION_SCHEMA.INNODB_BUFFER_PAGE) AS total_pages,
       (SELECT ((change_buffer_pages/total_pages)*100)) 
       AS change_buffer_page_percentage;
+---------------------+-------------+-------------------------------+
| change_buffer_pages | total_pages | change_buffer_page_percentage |
+---------------------+-------------+-------------------------------+
|                  25 |        8192 |                        0.3052 |
+---------------------+-------------+-------------------------------+
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,470评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,393评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,577评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,176评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,189评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,155评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,041评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,903评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,319评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,539评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,703评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,417评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,013评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,664评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,818评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,711评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,601评论 2 353

推荐阅读更多精彩内容