select+update引发的一些思考(3)再探日志

提要

cmu440(12) Fault Tolerance, Logging and recovery 3
之前cmu440课程上讲的有关数据库里WAL技术,没有仔细探讨细节,比较懵懂。好像就记住了几个数据流向,有个什么redo、undo之类的。

通过本篇文章想稍微了解下恢复过程,commit及rollback
解决下前面的问题
q:commit与数据更新的联系,是不是commit了数据库才更新数据,还是说事务中的每个操作执行完后,数据库就会更新

WAL(保证原子性)

英文全称是Write Ahead Logging,预先写入日志,在数据真正持久化之前先把变更写入 log 的方式。

假设一个程序在执行某些操作的过程中机器掉电了。在重新启动时,程序可能需要知道当时执行的操作是成功了还是部分成功或者是失败了。如果使用了WAL,程序就可以检查log文件,并对突然掉电时计划执行的操作内容跟实际上执行的操作内容进行比较。在这个比较的基础上,程序就可以决定是撤销已做的操作还是继续完成已做的操作,或者是保持原样。

数据会在哪些地方出现

  1. 内存:某次操作,我们取了数据库某表格中的数据,这个数据会在内存中缓存一些时间。
  2. 磁盘:真正存储数据库文件

我们操作数据库里的数据首先改的是内存里的数据,当数据在内存里的缓冲区已满或者其他条件,这些数据才会写入到磁盘。真正修改磁盘数据库文件跟COMMIT的时机无关
那COMMIT/ABORT是怎么来控制事务的提交和回滚

日志恢复

日志出现位置

日志在内存里也是有缓存的(log buffer),磁盘上的日志文件(log file)
log file一般是追加内容,可以认为是顺序写,顺序写的磁盘IO开销要小于随机写。

undo、redo

undo用于回滚的日志(old value)、redo用于提交的日志(new value)

例如某一事务的事务序号为T1,其对数据X进行修改,设X的原值是5,修改后的值为15,那么Undo日志为<T1, X, 5>,Redo日志为<T1, X, 15>。

整个数据操作的过程

例如:数据库中A=1,B=2,需要update A=3,B=4
1.事务开始
2.记录A=1到undo log
3.修改A=3
4.记录A=3到redo log
5.记录B=2到undo log
6.修改B=4
7.记录B=4到redo log
8.将redo log顺序写入磁盘
9.事务提交
redo日志进行持久化写入磁盘,之后再才是持久化数据的修改。这就是WAL的本义

崩溃恢复

如果整个事务的执行中发生系统崩溃或者断电了。
如果发生在事务提交之后,已经持久化redo日志,则完成数据的更新;
如果发生在写入磁盘之前,则undo回滚;
如果发生在8 redo持久化的过程,则看redo log file 是否有结束标志(COMMIT或者END),如果没有结束标志,则回滚

q:undo去哪了?不应该也持久化吗?

Undo和Redo Log需要关联,使得持久化变得复杂起来。为了降低复杂度,InnoDB将Undo Log看作数据,因此记录Undo Log的操作也会记录到redo log中。这样undo log就可以象数据一样缓存起来,而不用在redo log之前写入磁盘了。

性能相关

除了带来事务一致性的保证,由于只需要把操作写到 WAL 里就可以认为操作完成而无需等待持久化真正的数据库变更完成就可以返回,数据库操作的效率也得到了一些提升。你可能要问了写 log 也要持久化呀那里性能提升了?窍门在于 WAL 是顺序写入的一直在文件末尾 append,而持久化数据库的数据是一个随机写入操作,顺序写会节省大量的磁盘悬臂来回寻址的过程,效率要高好几个量级。

检查点checkpoint

checkpoint是为了定期将db buffer的内容刷新到data file。当遇到内存不足、db buffer已满等情况时,需要将db buffer中的内容/部分内容(特别是脏数据)转储到data file中。在转储时,会记录checkpoint发生的”时刻“。在故障回复时候,只需要redo/undo最近的一次checkpoint之后的操作。
还没有commit,数据库就有可能已经做了持久化,在发生故障时通过undo回滚

参考

预写式日志-维基百科
数据库如何用 WAL 保证事务一致性? [转]MySQL日志——Undo | Redo
理解数据库中的undo日志、redo日志、检查点
数据库正在操作时突然断电,为什么可以用日志恢复?既然断电了,还怎么能写入日志?

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,640评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,254评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,011评论 0 355
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,755评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,774评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,610评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,352评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,257评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,717评论 1 315
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,894评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,021评论 1 350
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,735评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,354评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,936评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,054评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,224评论 3 371
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,974评论 2 355

推荐阅读更多精彩内容