本文是介绍MySQL数据库InnoDB存储引擎重做日志漫游

00 – Undo Log

Undo Log 是为了实现事务的原子性，在MySQL数据库InnoDB存储引擎中，还用Undo Log来实现多版本并发控制(简称：MVCC)。

- 事务的原子性(Atomicity)

事务中的所有操作，要么全部完成，要么不做任何操作，不能只做部分操作。如果在执行的过程中发生

了错误，要回滚(Rollback)到事务开始前的状态，就像这个事务从来没有执行过。

- 原理

Undo Log的原理很简单，为了满足事务的原子性，在操作任何数据之前，首先将数据备份到一个地方

（这个存储数据备份的地方称为Undo Log）。然后进行数据的修改。如果出现了错误或者用户执行了

ROLLBACK语句，系统可以利用Undo Log中的备份将数据恢复到事务开始之前的状态。

除了可以保证事务的原子性，Undo Log也可以用来辅助完成事务的持久化。

- 事务的持久性(Durability)

事务一旦完成，该事务对数据库所做的所有修改都会持久的保存到数据库中。为了保证持久性，数据库

系统会将修改后的数据完全的记录到持久的存储上。

- 用Undo Log实现原子性和持久化的事务的简化过程

假设有A、B两个数据，值分别为1,2。

A.事务开始.

B.记录A=1到undo log.

C.修改A=3.

D.记录B=2到undo log.

E.修改B=4.

F.将undo log写到磁盘。

G.将数据写到磁盘。

H.事务提交

这里有一个隐含的前提条件：‘数据都是先读到内存中，然后修改内存中的数据，最后将数据写回磁盘’。

之所以能同时保证原子性和持久化，是因为以下特点：

A. 更新数据前记录Undo log。

B. 为了保证持久性，必须将数据在事务提交前写到磁盘。只要事务成功提交，数据必然已经持久化。

C. Undo log必须先于数据持久化到磁盘。如果在G,H之间系统崩溃，undo log是完整的，

可以用来回滚事务。

D. 如果在A-F之间系统崩溃,因为数据没有持久化到磁盘。所以磁盘上的数据还是保持在事务开始前的状态。

缺陷：每个事务提交前将数据和Undo Log写入磁盘，这样会导致大量的磁盘IO，因此性能很低。

如果能够将数据缓存一段时间，就能减少IO提高性能。但是这样就会丧失事务的持久性。因此引入了另外一

种机制来实现持久化，即Redo Log.

01 – Redo Log

- 原理

和Undo Log相反，Redo Log记录的是新数据的备份。在事务提交前，只要将Redo Log持久化即可，

不需要将数据持久化。当系统崩溃时，虽然数据没有持久化，但是Redo Log已经持久化。系统可以根据

Redo Log的内容，将所有数据恢复到最新的状态。

- Undo + Redo事务的简化过程

假设有A、B两个数据，值分别为1,2.

A.事务开始.

B.记录A=1到undo log.

C.修改A=3.

D.记录A=3到redo log.

E.记录B=2到undo log.

F.修改B=4.

G.记录B=4到redo log.

H.将redo log写入磁盘。

I.事务提交

- Undo + Redo事务的特点

A. 为了保证持久性，必须在事务提交前将Redo Log持久化。

B. 数据不需要在事务提交前写入磁盘，而是缓存在内存中。

C. Redo Log 保证事务的持久性。

D. Undo Log 保证事务的原子性。

E. 有一个隐含的特点，数据必须要晚于redo log写入持久存储。

- IO性能

Undo + Redo的设计主要考虑的是提升IO性能。虽说通过缓存数据，减少了写数据的IO.

但是却引入了新的IO，即写Redo Log的IO。如果Redo Log的IO性能不好，就不能起到提高性能的目的。

为了保证Redo Log能够有比较好的IO性能，InnoDB 的 Redo Log的设计有以下几个特点：

A. 尽量保持Redo Log存储在一段连续的空间上。因此在系统第一次启动时就会将日志文件的空间完全分配。

以顺序追加的方式记录Redo Log,通过顺序IO来改善性能。

B. 批量写入日志。日志并不是直接写入文件，而是先写入redo log buffer.当需要将日志刷新到磁盘时

(如事务提交),将许多日志一起写入磁盘.

C. 并发的事务共享Redo Log的存储空间，它们的Redo Log按语句的执行顺序，依次交替的记录在一起，

以减少日志占用的空间。例如,Redo Log中的记录内容可能是这样的：

     记录1: <trx1, insert …>

     记录2: <trx2, update …>

     记录3: <trx1, delete …>

     记录4: <trx3, update …>

     记录5: <trx2, insert …>

D. 因为C的原因,当一个事务将Redo Log写入磁盘时，也会将其他未提交的事务的日志写入磁盘。

E. Redo Log上只进行顺序追加的操作，当一个事务需要回滚时，它的Redo Log记录也不会从

Redo Log中删除掉。

02 – 恢复(Recovery)

- 恢复策略

前面说到未提交的事务和回滚了的事务也会记录Redo Log，因此在进行恢复时,这些事务要进行特殊的

的处理.有2中不同的恢复策略：

A. 进行恢复时，只重做已经提交了的事务。

B. 进行恢复时，重做所有事务包括未提交的事务和回滚了的事务。然后通过Undo Log回滚那些

未提交的事务。

- InnoDB存储引擎的恢复机制

MySQL数据库InnoDB存储引擎使用了B策略, InnoDB存储引擎中的恢复机制有几个特点：

A. 在重做Redo Log时，并不关心事务性。 恢复时，没有BEGIN，也没有COMMIT,ROLLBACK的行为。

也不关心每个日志是哪个事务的。尽管事务ID等事务相关的内容会记入Redo Log，这些内容只是被当作

要操作的数据的一部分。

B. 使用B策略就必须要将Undo Log持久化，而且必须要在写Redo Log之前将对应的Undo Log写入磁盘。

Undo和Redo Log的这种关联，使得持久化变得复杂起来。为了降低复杂度，InnoDB将Undo Log看作

数据，因此记录Undo Log的操作也会记录到redo log中。这样undo log就可以象数据一样缓存起来，

而不用在redo log之前写入磁盘了。

包含Undo Log操作的Redo Log，看起来是这样的：

     记录1: Undo log insert <undo_insert …>>

     记录2: <trx1, insert …>

     记录3: <trx2, Undo log insert <undo_update …>>

     记录4: <trx2, update …>

     记录5: <trx3, Undo log insert <undo_delete …>>

     记录6: <trx3, delete …>

C. 到这里，还有一个问题没有弄清楚。既然Redo没有事务性，那岂不是会重新执行被回滚了的事务？

确实是这样。同时Innodb也会将事务回滚时的操作也记录到redo log中。回滚操作本质上也是

对数据进行修改，因此回滚时对数据的操作也会记录到Redo Log中。

一个回滚了的事务的Redo Log，看起来是这样的：

     记录1: <trx1, Undo log insert <undo_insert …>>

     记录2: <trx1, insert A…>

     记录3: <trx1, Undo log insert <undo_update …>>

     记录4: <trx1, update B…>

     记录5: <trx1, Undo log insert <undo_delete …>>

     记录6: <trx1, delete C…>

     记录7: <trx1, insert C>

     记录8: <trx1, update B to old value>

     记录9: <trx1, delete A>

一个被回滚了的事务在恢复时的操作就是先redo再undo，因此不会破坏数据的一致性.

- InnoDB存储引擎中相关的函数

Redo: recv_recovery_from_checkpoint_start()

Undo: recv_recovery_rollback_active()

Undo Log的Redo Log: trx_undof_page_add_undo_rec_log()

redo log通常是物理日志，记录的是数据页的物理修改，而不是某一行或某几行修改成怎样怎样，它用来恢复提交后的物理数据页(恢复数据页，且只能恢复到最后一次提交的位置)。

undo用来回滚行记录到某个版本。undo log一般是逻辑日志，根据每行记录进行记录。为了高可用的保证，有了多主或者主从切换。

redo日志大部分为物理日志，其记录时间点为缓冲中页面修改完成，但还没有刷新到硬盘的时间点（事务提交之前），即日至一定要比数据先到硬盘，聚集索引，次级索引，undo页面修改都需要记录redo日志，即可以把redo日志看成大管家，保证所有数据的完整性。

undo日志基本是逻辑日志，其记录时间点为修改缓冲中页面之前(先于redo日志，这样redo日志可以记录undo页面的变换，防止undo日志页因为宕机有部分没有刷新到ibd文件回滚段)，需要注意的是次级索引记录的修改不记录undo日志(为什么？我感觉也可以记录。。)。需要注意的是binlog日志的记录点是在读取到commit之后写入的（即一定要知道事务提交了才能记录），这个时间redo已经写入，但一般修改的脏页还没刷新到硬盘。这三个日志写入时间点可以根据参数控制，一般都是联合使用。

那么redo&undo日志记录的到底是些什么呢？对于insert操作，undo记录的是插入行的主键，redo记录的是行插入位置的物理地址（space id ，page no，插入行，系统列。。），通过他们可以唯一确定插入位置。

delete操作，undo是将记录标记为delete mark，将系统列写入undo，将主键和所有索引列写入undo(索引列写入应该是为了次级索引恢复，insert不用大概是因为聚集索引的数据删了，次级索引就算不改也查不到数据了；还有个作用就是purge次级索引也可以通过它查询到对应页进行删除)；redo同样是和insert差不多的操作。

update操作分为三种，一种是没有修改聚集索引键值，并且列长度未变的，这种的话聚集索引的数据位置没变，并且长度也没变，只需要在恢复的时候找到位置然后进行相应操作就行了。undo主要是将系统列写入，将主键列写入，将当前update列的前镜像写入，然后将修改后行记录的rollback ptr指向undo记录；redo主要是对聚集索引进行in place update，因为数据位置没变，如果update列包括次级索引，那么次级索引的位置肯定变了就不能就地解决了，需要对原记录进行delete mark，并且对新纪录insert redo日志。第二种是没有修改聚集索引键值但是列长度变化了，不过记录的位置没有变化，这对于undo是没有影响的，因为不管你怎么搞我只管把原来的位置变成原来的样子就可以了，对于redo主要影响的是聚集索引的记录不可进行in place update了，需要delete+insert redo，需要注意的是这里不是delete mark，而是直接将原纪录delete然后插入新纪录。第三种是修改了聚集索引键值，这种会导致新纪录跟原纪录不在同一位置，所以这里undo也不能in place update了，首先对原纪录进行delete mark操作然后写入undo，然后对新纪录进行insert操作然后写入undo；redo则是更第二种差不多。

这里顺便大概说一下innodb crash recovery的流程：

首先先把double write相关损坏的页面修复了，然后从redo log获取最后一次checkpoint的LSN，从这个点开始应用redo log，注意这里有个redo事件的重建流程，redo的流程是根据页为单位组建的，即recovery时缓冲池里维护一个hash表，根据space id 和page no做键值存储bucket list，每个页面维护一个list，其中list是根据事务id为顺序排列，因而重做的时候以页为单位，然后根据页里事务发生的顺序进行重做。

在redo完成后就需要进行undo未提交事务， undo信息的重构信息是由第五个页的trx list维护，大致流程是读取每个表的undo segement，然后根据事务id分别读取每个事务的undo slot，每个事务有两个slot(一个insert一个update)，这些slot指向具体的undo page，读出这些slot后按照事务id 顺序组织在trx list里；然后每个undo page中的undo记录按照先后顺序同样进行顺序排列。大概的结构如下图：

undo信息组织完成后按照事务顺序进行回滚，然后根据最后一次commit操作的binlog信息决定是否回滚该事务的undo page。

MVCC原理

说到了undo就不得不提与之紧密相关的innodb mvcc，innodb事务的可重复读和读取已提交隔离等级就是通过mvcc+undo实现的。

我们都知道mvcc通过事务版本号进行mvcc，系统维护一个系统版本号，进行插入操作的时候就把插入记录的系统列事务id设置为当前系统版本号；对于删除操作，则是将记录标记为delete mark，并将事务id改为当前系统版本号；对于更新操作，则是同时保持旧记录和新纪录；对于查询操作则是根据当前系统版本号和查询行的事务id来判断记录是否可读。那么具体是怎么进行操作的呢。

主要是几个规则，一个是旧数据存储在undo中，再通过rollback ptr回溯查找历史版本。比如说update操作，对于不修改主键索引键值的update操作，更新后的行记录事务id存储修改时的系统版本号，然后将被更新的行记录写进undo中，并将更新后行记录rollback ptr指向这个undo记录，那么当一个正在进行的事务需要读取该进行了更新的记录，这个事务的版本号比更新后的行记录事务id要小，那么肯定是不能读取更新后的记录，就需要通过回滚指针前往undo读取更新前记录，直到满足条件为止。

那么这个决定记录是否可读的规则是由read view决定的，当隔离级别为可重复读时，每个事务开始时都会将当前系统所有的活跃事务拷贝到一个列表中(read view)；当隔离级别为读取已提交时，在每个事务的每个语句开始时都会将所有活跃事务拷贝到read view中，即对于每个语句都需要更新它的可见性，如果不更新，那么在该读取事务进行时有其他事务对行记录进行了修改是不可知的。