InnoDB 存储结构

MySQL 5.5 版本开始默认使用 InnoDB 作为引擎,它擅长处理事务,具有自动崩溃恢复的特性,在日常开发中使用非常广泛。下面是官方的 InnoDB 引擎架构图,主要分为内存结构和磁盘结构两大部分。

1. InnoDB 内存结构

内存结构主要包括 Buffer PoolChange BufferAdaptive Hash IndexLog Buffer 四大组件。

SHOW ENGINE INNODB STATUS;


Database pages + Free buffers <= Buffer pool size(其它空间有可能分配给自适应索引和 changeBuffer

1.1 Buffer Pool

缓冲池,简称 BPBPPage 页为单位,默认大小 16KBP 的底层采用链表数据结构管理 Page。在 InnoDB 访问表记录和索引时会在 Page 页中缓存,以后使用可以减少磁盘 IO 操作,提升效率。

1.1.1 Page 管理机制

Page 根据状态可以分为三种类型:

  • free page : 空闲 page,未被使用
  • clean page:被使用 page,数据没有被修改过
  • dirty page:脏页,被使用 page,数据被修改过,页中数据和磁盘的数据产生了不一致

针对上述三种 page 类型,InnoDB 通过三种链表结构来维护和管理

  • free list :表示空闲缓冲区,管理 free page
  • flush list:表示需要刷新到磁盘的缓冲区,管理 dirty page,内部 page 按修改时间排序。脏页既存在于 flush链表,也在 LRU链表 中,但是两种互不影响,LRU链表 负责管理 page 的可用性和释放,而 flush链表 负责管理脏页的刷盘操作。
  • lru list:表示正在使用的缓冲区,管理 clean pagedirty page,缓冲区以 midpoint 为基点,前面链表称为 new 列表区,存放经常访问的数据,占 63%;后 面的链表称为 old列表区,存放使用较少数据,占37%
1.1.2 改进型 LRU 算法维护
  • 普通 LRU:末尾淘汰法,新数据从链表头部加入,释放空间时从末尾淘汰
  • 改进 LRU:链表分为 newold 两个部分,加入元素时并不是从表头插入,而是从中间 midpoint 位置插入,如果数据很快被访问,那么 page 就会向 new 列表头部移动,如果数据没有被访问,会逐步向 old 尾部移动,等待淘汰。

每当有新的 page 数据读取到 buffer pool 时,InnoDB 引擎会判断是否有空闲页,是否足够,如果有就将 free pagefree list列表删除,放入到 LRU 列表中。没有空闲页,就会根据 LRU 算法淘汰 LRU链表默认的页,将内存空间释放分配给新的页。

1.1.3 Buffer Pool 配置参数
-- 查看page页大小
show variables like '%innodb_page_size%';
-- 查看 lru list 中 old 列表参数
show variables like '%innodb_old%';
-- 查看 buffer pool 参数
show variables like '%innodb_buffer%';  

建议:innodb_buffer_pool_size 设置为总内存大小的 60%-80%innodb_buffer_pool_instances 可以设置为多个,这样可以避免缓存争夺。

1.2 Change Buffer

写缓冲区,简称 CB 。在进行 DML 操作时,如果 BP 没有其相应的 Page 数据, 并不会立刻将磁盘页加载到缓冲池,而是在 CB 记录缓冲变更,等未来数据被读取时,再将数据合并恢复到 BP 中。

ChangeBuffer 占用 BufferPool 空间,默认占25%,大允许占50%,可以根据读写业务量来 进行调整。参数 innodb_change_buffer_max_size;

show variables like '%innodb_change_buffer_max_size%';

当更新一条记录时,该记录在 BufferPool 存在,直接在 BufferPool 修改,一次内存操作。如果该记录在 BufferPool 不存在(没有命中),会直接在 ChangeBuffer 进行一次内存操作,不用再去磁盘查询数据,避免一次磁盘IO。当下次查询记录时,会先进性磁盘读取,然后再从 ChangeBuffer中读取信息合并,最终载入BufferPool 中。

写缓冲区,仅适用于非唯一普通索引页,为什么?
如果在索引设置唯一性,在进行修改时,InnoDB 必须要做唯一性校验,因此必须查询磁盘, 做一次 IO 操作。会直接将记录查询到 BufferPool中,然后在缓冲池修改,不会在ChangeBuffer 操作。

1.3 Adaptive Hash Index

自适应哈希索引,用于优化对 BP 数据的查询。InnoDB 存储引擎会监 控对表索引的查找,如果观察到建立哈希索引可以带来速度的提升,则建立哈希索引,所以称之为自适应。InnoDB 存储引擎会自动根据访问的频率和模式来为某些页建立哈希索引。

1.4 Log Buffer

日志缓冲区,用来保存要写入磁盘上 log文件(Redo/Undo)的数据,日志缓冲区的内容定期刷新到磁盘 log 文件中。日志缓冲区满时会自动将其刷新到磁盘,当遇到 BLOB 或多行更新的大事务操作时,增加日志缓冲区可以节省磁盘 I/O

LogBuffer 主要是用于记录 InnoDB 引擎日志,在 DML 操作时会产生 RedoUndo日志。LogBuffer 空间满了,会自动写入磁盘。可以通过将 innodb_log_buffer_size 参数调大,减少磁盘IO频率

show variables like '%innodb_log_buffer_size%';
show variables like '%innodb_log%';
SHOW VARIABLES LIKE '%innodb_flush_log_at_trx_commit%'

innodb_flush_log_at_trx_commit参数控制日志刷新行为,默认为1

  • 0 : 每隔 1 秒写日志文件和刷盘操作(写日志文件 LogBuffer -> OS cache,刷盘 OS cache -> 磁盘文件),最多丢失 1 秒数据
  • 1:事务提交,立刻写日志文件和刷盘,数据不丢失,但是会频繁IO操作
  • 2:事务提交,立刻写日志文件,每隔 1 秒钟进行刷盘操作

2. 磁盘结构

InnoDB 磁盘主要包含TablespacesInnoDB Data DictionaryDoublewrite BufferRedo LogUndo Logs

2.1 表空间(Tablespaces)

用于存储表结构和数据。表空间又分为系统表空间、独立表空间、 通用表空间、临时表空间、Undo 表空间等多种类型;

2.1.1 系统表空间(The System Tablespace)

包含 InnoDB 数据字典,Doublewrite BufferChange BufferUndo Logs 的存储区域。系统表空间也默认包含任何用户在系统表空间创建的表数据和索引数据。系统表空间是一个共享的表空间因为它是被多个表共享的。该空间的数据文件通过参数 innodb_data_file_path 控制,默认值是 ibdata1:12M:autoextend(文件名为ibdata112MB、自动扩展)。

SHOW VARIABLES LIKE '%innodb_data_file_path%'
2.1.2 独立表空间(File-Per-Table Tablespaces)

默认开启,独立表空间是一个单表表空间,该表创建于自己的数据文件中,而非创建于系统表空间中。当 innodb_file_per_table 选项开启时,表将被创建于表空间中。否则, innodb 将被创建于系统表空间中。每个表文件表空间由一个 .ibd 数据文件代表,该文件默认被创建于数据库目录中。表空间的表文件支持动态(dynamic)和压缩 (commpressed)行格式。

SHOW VARIABLES LIKE '%innodb_file_per_table%'
2.1.3 通用表空间(General Tablespaces)

通用表空间为通过 create tablespace 语法创建的共享表空间。通用表空间可以创建于 mysql数据目录外的其他表空间,其可以容纳多张表,且其支持所有的行格式。

 -- 创建表空 间ts1 
CREATE TABLESPACE ts1 ADD DATAFILE ts1.ibd Engine=InnoDB;
 -- 将表添加到 ts1 表空间
CREATE TABLE t1 (c1 INT PRIMARY KEY) TABLESPACE ts1;
2.1.4 撤销表空间(Undo Tablespaces)

撤销表空间由一个或多个包含 Undo 日志文件组成。在 MySQL 5.7 版本之前Undo占用的 是System Tablespace共享区,从5.7开始将UndoSystem Tablespace分离了出来。 InnoDB 使用的 undo表空间由 innodb_undo_tablespaces 配置选项控制,默认为0。参 数值为0表示使用系统表空间ibdata1;大于0表示使用undo表空间undo_001、 undo_002等。

SHOW VARIABLES LIKE '%innodb_undo_tablespaces%'
2.1.5 临时表空间(Temporary Tablespaces)

分为 session temporary tablespacesglobal temporary tablespace 两种。session temporary tablespaces 存储的是用户创建的临时表和磁盘内部的临时表。global temporary tablespace 储存用户临时表的回滚段(rollback segments )。mysql服务器正常关闭或异常终止时,临时表空间将被移除,每次启动时会被重新创建。

2.2 数据字典(InnoDB Data Dictionary)

InnoDB 数据字典由内部系统表组成,这些表包含用于查找表、索引和表字段等对象的元数 据。元数据物理上位于InnoDB系统表空间中。由于历史原因,数据字典元数据在一定程度上 与InnoDB表元数据文件(.frm文件)中存储的信息重叠。

2.3 双写缓冲区(Doublewrite Buffer)

位于系统表空间,是一个存储区域。在 BufferPagepage 页刷新到磁盘真正的位置前,会先将数据存在Doublewrite 缓冲区。如果在 page页写入过程中出现操作系统、存储子系统或 mysqld进程崩溃,InnoDB可以在崩溃恢复期间从Doublewrite 缓冲区中找到页的一个备份。在大多数情况下,默认情况下启用双写缓冲区;要禁用 Doublewrite 缓冲区,可以将 innodb_doublewrite 设置为0。使用Doublewrite 缓冲区时建议将 innodb_flush_method 设置为 O_DIRECT

SHOW VARIABLES LIKE '%innodb_doublewrite%'
SHOW VARIABLES LIKE '%innodb_flush_method%'

MySQL 的 innodb_flush_method 这个参数控制着 innodb 数据文件及 redo log 的打开、 刷写模式。有三个值:fdatasync(默认),O_DSYNC,O_DIRECT。

设置 O_DIRECT 表示数据文件写入操作会通知操作系统不要缓存数据,也不要用预读,直接从Innodb Buffer 写到磁盘文件。

默认的 fdatasync 意思是先写入操作系统缓存,然后再调用 fsync() 函数去异步刷数据文件与redo log 的缓存信息。

2.4 重做日志(Redo Log)

重做日志是一种基于磁盘的数据结构,用于在崩溃恢复期间更正不完整事务写入的数据。 MySQL 以循环方式写入重做日志文件,记录 InnoDB 中所有对 Buffer Pool 修改的日志。当出现实例故障(像断电),导致数据未能更新到数据文件,则数据库重启时须 redo,重新把数据更新到数据文件。读写事务在执行的过程中,都会不断的产生 redo log。默认情况下,重做日志在磁盘上由两个名为 ib_logfile0ib_logfile1 的文件物理表示。

2.5 撤销日志(Undo Logs)

撤消日志是在事务开始之前保存的被修改数据的备份,用于例外情况时回滚事务。撤消日志属于逻辑日志,根据每行记录进行记录。撤消日志存在于系统表空间、撤消表空间和临时表空间中。

3. 新版本结构演变

3.1 MySQL 5.7 版本

  • Undo 日志表空间从共享表空间 ibdata 文件中分离出来,可以在安装 MySQL 时由用户自行指定文件大小和数量。
  • 增加了 temporary 临时表空间,里面存储着临时表或临时查询结果集的数据。
  • Buffer Pool 大小可以动态修改,无需重启数据库实例。

3.2 MySQL 8.0 版本

  • InnoDB 表的数据字典和 Undo 都从共享表空间 ibdata中彻底分离出来了,以前需要 ibdata 中数据字典与独立表空间 ibd 文件中数据字典一致才行,8.0 版本就不需要了。
  • temporary 临时表空间也可以配置多个物理文件,而且均为 InnoDB 存储引擎并能创建索引,这样加快了处理的速度。
  • 用户可以像 Oracle 数据库那样设置一些表空间,每个表空间对应多个物理文件,每个表空间可以给多个表使用,但一个表只能存储在一个表空间中。
  • Doublewrite Buffer 从共享表空间 ibdata 中也分离出来了。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容

  • 一起走进MySQL引擎是如何工作的 MySQL服务器服务器负责对数据进行读取与存人的部分工作是存储引擎,服务器支持...
    蜗牛也疯狂_6104阅读 399评论 0 0
  • InnoDB存储结构 Innodb逻辑存储单元为为表空间,段,区,页 InnoDB表空间 InnoDB存储引擎表中...
    逆光花轮阅读 934评论 0 1
  • 持续更新 逻辑存储结构 InnoDB存储引擎的逻辑存储结构和Oracle几乎一样,从大到小分别为:表空间、段、区、...
    xiewen阅读 1,251评论 0 1
  • InnoDB体系架构 上图简单显示了InnoDB存储引擎的体系架构图中可见,InnoDB存储引擎有多个内存块,可以...
    Rick617阅读 4,024评论 0 6
  • 今天感恩节哎,感谢一直在我身边的亲朋好友。感恩相遇!感恩不离不弃。 中午开了第一次的党会,身份的转变要...
    迷月闪星情阅读 10,559评论 0 11