Innodb关键特性

Innodb存储引擎关键特性包括:

  • 插入缓冲 (Insert Buffer)
  • 两次写 (Double Write)
  • 自适应哈希索引 (Adaptive Hash Index)
  • 异步IO (Async IO)
  • 刷新领接页(Flush Neighbor Page)

插入缓冲 Insert Buffer

Innodb引擎开创性地设计了Insert Buffer,对于非聚集索引的插入或更新操作不是一次性地插入到索引页中,而是先判断插入的非聚集索引页是否在缓冲池中,若在则插入,不在,则先放到Insert Buffer中(对应有磁盘存储,但是因为是顺序的,效率较高),然后再通过merge操作合并Insert Buffer和辅助索引页,以提高对于非聚集索引插入的性能。

Insert Buffer只是针对非聚集索引的插入和更新操作,使用Insert Buffer需要同时满足两个条件:

  • 索引是辅助索引
  • 索引不是唯一索引

对于聚集索引(innodb数据页)和唯一的聚集索引都不能用Insert Buffer,原因:

  • 聚集索引(主键索引)大多数是自增的,即有序的,符合“磁盘顺序读写不差于随机存储设备”
  • 唯一索引需要判断插入记录的唯一性,同样有“离散读”的问题,导致Insert Buffer失去意义

Insert buffer实现

Insert Buffer的数据结构是一棵B+树,在MYSQL 4.1之前的版本中每张表都有一棵Insert Buffer B+树,在现在的版本中,全局维护一棵B+树。非叶子节点存放search key:space+marker+offset。space表示待插入记录锁在表的表空间id,每张表都有一个唯一的space id,marker是兼容老版本的insert buffer,offset表示页所在的偏移量。所以一个非唯一的辅助索引要插入到页时,如果这个页不在缓冲池中,那么首先根据上述规则构造一个search key,然后插入到insert buffer中,插入的记录为search key(space+marker+offset)+metadata+secondary index record,metadata记录了一些插入的其它元数据信息。

Insert buffer的合并

insert buffer什么时候合并到真正的索引树中去呢?概括的来说,Merge Insert Buffer的操作可能发生在以下几种情况:

  • 辅助索引页被读取到缓冲池时;(查询会要求缓冲索引页)
  • Insert Buffer Bitmap页追踪到该索引insert buffer已无可用空间时
  • Master Thread定时合并(每次Master Thread并非合并所有的页,会根据算法选择一定比例的页合并)

两次写

当数据库发生宕机后,内存的数据还没有写到磁盘中,这时候该怎么恢复数据呢?我们当然会想到redo log,但是redo log记录的是对页的物理操作,如果一个页大小为16KB,只写入了前4KB,之后发生宕机,依照redo log来恢复数据是没有意义的,因为这个页本身发生了部分写导致的损坏。为了避免部分写导致的数据丢失的情况,innodb采取了double write技术,在对缓存池的脏页进行刷新的时候,并不直接写入磁盘,而是先将脏页复制到doublewrite buffer中,之后将doublewrite buffer分两次,顺序的写入到物理磁盘上,然后调用fsync函数,同步磁盘。(当fsync刷新脏页发生部分写时,通过doublewrite和redolog恢复。如果doublewrite写入磁盘本身发生问题,就直接通过redolog恢复,没有部分写的问题)。

doublewrite大小为2MB,磁盘上在共享表空间的连续的128个页,即2个区,因此也是连续的,顺序读写的开销也不是很大。参数skip_innodb_doublewrite可以禁止用doublewrite功能,在slave server关闭doublewrite可以提高性能,不过对于需要提供高可用性的主服务器(master server),应该开启doublewrite功能。

有些文件系统本身就提供了部分写失效的防范机制,如ZFS文件系统,这种情况用户就不用启用double write了。

自适应哈希索引

在生产环境中,B+树的高度一般为3-4层,故需要3-4次查询。一般情况下哈希的查找时间复杂度为O(1)。innodb引擎会监控表上各索引页的查询,如果观察到建立哈希索引可以带来速度提升,则建立哈希索引,称之为自适应哈希索引(Adaptive Hash Index, AHI)。AHI通过缓冲池的B+树页构造,因此建立速度很快,而且也不需要对整张表构建哈希索引,只需要对热点页构建。

AHI构建的条件:

  • 连续访问模式一样,例如联合索引(a,b)WHERE a=xxx 和 WHERE a=xxx b=xxx不一样
  • 以该模式访问了100次
  • 页通过该模式访问了N次,N=页中记录*1/16

哈希相比于B+树不是sorted,所以对于范围查询是不能使用哈希索引的。根据innodb存储引擎官方文档显示,启用AHI后,读取和写入速度可以提高2倍,辅助索引的连接索引可以提高5倍。AHI的设计思想是数据库的自优化(self-tuning),即不需要DBA的介入对数据库的优化。

异步IO

相比于Sync IO,用户可以在发出一个IO请求后立即再发出另一个IO请求,当全部IO请求发送完毕后,等待IO操作的完成。AIO不仅让IO操作可以并行的进行,充分的利用计算机的资源,AIO的另一个优势是可以进行IO Merge操作,将多个IO合并成一个IO,提高IOPS的性能。

在innodb 1.1.x之前,AIO通过存储引擎中代码来模拟实现,在这个版本之后,innodb提供了内核级别AIO的支持。并不是所有操作系统提供Native AIO的支持,不支持的话依旧只能使用模拟的方式。官方的测试显示,启用Native AIO比模拟方式速度可以提高75%。(mac osx系统未提供Native AIO)

刷新领接页

当刷新一个脏页时,innodb存储引擎会检测该页所在区(extent)的所有页,如果是脏页则一起刷新,这样可以通过AIO的IO合并带来性能提升(顺序读写),故该机制在传统机械硬盘下有着显著的优势。但是刷新领接页会带来两个问题:

  • 是不是把不怎么脏的页刷新了,该页会很快又变成了脏页?
  • 固态硬盘有着较高的IOPS,是否还需要这个特性?

现在计算机的发展中,CPU,GPU以及网络的发展要远远迅速于存储设备的发展,机械硬盘成为了计算机性能的一个瓶颈,但是将来随着廉价的Flash Disk的发展,也许固态硬盘会越来越多的使用。对于固态硬盘,建议将参数innodb_flush_neighbors设置成0,关闭刷新领接页的特性。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,752评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,100评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,244评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,099评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,210评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,307评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,346评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,133评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,546评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,849评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,019评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,702评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,331评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,030评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,260评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,871评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,898评论 2 351

推荐阅读更多精彩内容