第二章 InnoDB储存引擎(中)

2.5 Master Thread工作方式

        InnoDB存储引擎的主要工作都是在一个单独的后台线程Master Thread中完成的。

2.5.1     InnoDB 1.0.x之前的Master Thread
        Master Thread 具有最高的线程优先级别。其内部由多个循环(loop)组成:主循环(Loop),后台循环(backgroup loop),刷新循环(flush loop),暂停循环(suspend loop)。Master Thread会根据数据库的运行状态在多个loop中进行切换
        Loop被称为主循环,因为大多数的操作是在这个循环中,其中有两个大部分的操作----每秒钟的操作和每十秒钟的操作。

每秒一次的操作包括

  • 日志缓冲刷新到磁盘,即使这个事务还没有提交(总是)
  • 合并插入缓冲(总是)
  • 至多刷新100个InnoDB的缓冲池中的脏页到磁盘(可能)
  • 如果当前没有用户活动,则切换到background loop(可能)

即使某个事务还没有提交,InnoDB存储引擎仍然每秒会将重做日志缓冲的内容刷新到重做日志文件。这可以很好解释为什么再大的事务提交的时间也是很短的

合并插入缓冲(Insert Buffer)并不是每秒都会发生。InnoDB存储引擎会判断当前一秒内发生的IO次数是否小于5次,如果小于5次,引擎会认为当前IO压力很小,执行执行合并插入缓冲操作

刷新100个脏页也不是每秒发生。引擎会判断当前缓冲池中脏页的比例是否超过了配置文件中的innodb_max_dirty_pages_pct的值

每十秒一次的操作包括

  • 刷新100个脏页到磁盘(可能)
  • 合并至多5个插入缓冲(总是)
  • 将日志缓冲刷新到磁盘(总是)
  • 删除无用的Undo页(总是)
  • 刷新100个或者10个脏页到磁盘(总是)

InnoDB会判断过去10秒之内磁盘的IO操作是否小于200次,如果是,InnoDB存储引擎认为当前有足够的磁盘IO操作能力,因此将100个脏页刷新到磁盘。接着,InnoDB引擎会合并插入缓冲。然后将日志缓冲刷新到磁盘。接着InnoDB会进行full purge操作,即删除无用的Undo页。在对表进行update、delete这类操作的时候,原型的行被标记为删除(更新也是先删除之后再插入的),但是因为一致性读(consistent read)的关系,需要保留这些行的版本信息。但是在full purge过程中,InnoDB引擎会判断当前事务系统中已被删除的行是否可以删除,比如有时候还有查询操作需要读取之前版本的信息,如果可以删除,InnoDB会立即删除。然后InnoDB会判断缓冲池中脏页的比例(buf_get_modified_ratio_pct),如果有超过70%就刷新100个脏页到磁盘,如果小于70%,就只刷新10个脏页到磁盘

background loop
        当前没有用户活动或者数据库关闭,就会切换到这个循环。background loop会执行如下操作:
        a):删除无用的Undo页(总是)
        b):合并20个插入缓冲(总是)
        c):
跳回主循环(总是)
        d):不断刷新100个页直到符合条件(可能,跳转到flush loop中完成)
flush loop

suspend loop
若在flush loop中没有什么事情可以做,InnoDB引擎会切换到 suspend loop,将Master Thread挂起,等待事件的发生。若用户启用了InnoDB引擎,却没有任何使用InnoDB引擎的表,那么Master Thread总是处于挂起状态

2.5.2    InnoDB 1.2.x之前的Master Thread
        在InnoDB1.0.x之前,在缓冲池向磁盘刷新时做了一定的硬编码(hard coding),一些参数是固定的,比如合并插入缓冲和刷新脏页。在磁盘技术飞速发展的今天,这种规定在很大程度限制了InnoDB存储引擎对磁盘IO的性能。
        从InnoDB1.0.x开始,提供了参数innodb_io_capacity,用来表示磁盘IO的吞吐量,默认值为200。对于刷新到磁盘页的数量,会按照innodb_io_capacity的百分比来进行控制。规则如下

  • 在合并插入缓冲时,合并插入缓冲的数量为innodb_io_capacity值的5%
  • 在从缓冲区刷新脏页时,刷新脏页的数量为innodb_io_capacity

        另一个参数是innodb_max_dirty_pages_pct,在InnoDB1.0.x之前,该值默认为90,意味着脏页占缓冲池的90%。InnoDB在每秒刷新缓冲池和flush loop时会判断这个值,如果这个值大于innodb_max_dirty_pages_pct,才刷新100个脏页。如果有很大的内存,或者数据库服务器的压力很大,这是刷新脏页的速度反而会降低。同样,在数据库恢复阶段可能需要更多的时间。从InnoDB1.0.x开始,默认值为75%,这样既可以加快刷新脏页的频率,又能保证磁盘IO的速度

        还有一个参数是innodb_adaptive_flushing(自适应地刷新),该值影响每秒刷新脏页的数量。原来的刷新规则是:脏页在缓冲池所占的比例小于innodb_max_dirty_pages_pct时,不刷新脏页;大于时,刷新100个脏页。随着innodb_adaptive_flushing参数的引入,InnoDB会通过一个名为buf_flush_get_desired_flush_rate的函数来判断需要刷新的脏页最适合的数量,该函数通过产生重做日志的速度来决定最适合的数量。因此当脏页比例小于innodb_max_dirty_pages_pct时,也会刷新一定量的脏页

        还有一个改变是:之前每次进行full purge操作时,最多回收20个Undo页,InnoDB1.0.x开始引入了参数innodb_purge_batch_size,该参数可以控制每次full purge回收的数量。

2.5.3     InnoDB 1.2.x的Master Thread
        InnoDB1.2.x再次对Master Thread做了优化。同时对于刷新脏页的操作,从Master Thread分离到了一个单独的Page Cleaner Thread线程,从而减轻了Master Thread的工作,同时进一步提高了系统的并发性能

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,837评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,551评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,417评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,448评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,524评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,554评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,569评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,316评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,766评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,077评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,240评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,912评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,560评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,176评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,425评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,114评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,114评论 2 352

推荐阅读更多精彩内容