二进制日志

简介

binlog是mysql server层存储的二进制日志,主要用于记录更新操作:

  • 所有数据库表结构变更DDL(例如create、alter、drop);
  • 表数据修改DML(insert、update、delete)。

日志类型

binlog日志包含:

  • 二进制日志索引文件(文件后缀名=.index),是个普通文件,文件内容如下:
    image
  • 二进制日志文件(文件后缀名=.00000*),用于记录更新操作。

写入流程

当事务表存储引擎时,所有未提交的二进制日志会被记录到一个缓存(通过binlog_cache_size配置缓存大小,默认32K)中去,等待事务提交时直接将缓存中的二进制日志刷新到磁盘二进制文件。

binlog_cache_size是基于会话的,因此设置的大小一定要消息。可以通过binlog_cache_use(写入缓存的次数)、binlog_cache_disk_use(写入临时文件的次数),判断当前的设置是否合适,太小会写到临时文件影响性能,太大会造成内存浪费。

默认的情况下,二进制日志并不是在每次写的时候都刷新到磁盘中。因此,当数据库发生宕机的时候,就会可能造成数据的丢失,这会给恢复和复制带来问题。因此可以呀通过sync_binlog=N(默认是0)设置写入N次就同步一次到磁盘。

不过即使将sync_binlog设置成1,也会出现问题。当使用InnoDB存储引擎时,在一个事务发出COMMIT操作之前,先将二进制日志写入磁盘,但如果此时提交动作还没有在InnoDB存储redo log写入,并且此时数据库发生了宕机。下次启动时,该事务会被回滚掉,但是二进制日志已经记录了该信息,就会造成复制时数据不一致。因此,需要保证binlog与redo log分布式事务的一致性,可以使用XA事务保证一致性,通过innodb_support_xa=ON(默认开启)开启。

日志格式

binlog格式有三种:row,statement,mixed。

可通过show variables like '%binlog_format%' 查看当前binlog日志格式。

  • row:非常清晰的记录下每行数据的修改细节,不需要记录上下文相关信息。

    • 优点:不会出现某些特定情况下的存储过程、函数、触发器的调用和触发无法被正确复制的问题。
    • 缺点:会产生大量的日志,尤其是alter table会记录所有行的变更细节。
  • statement:记录更新操作的sql语句。

    • 优点:相对row格式,减少了日志,节约IO,提高性能。
    • 缺点:为了保证sql语句能在slave上正确执行,必须记录上下文信息,以保证所有语句能在slave得到和在master端执行时候相同的结果;另外,主从复制时,存在部分函数(如sleep)及存储过程在slave上会出现与master结果不一致的情况。
  • mixed:混合格式,实际上是row与statement的结合。mysql会根据执行的每一条具体的sql语句来区分对待记录的日志形式,也就是在statement和row之间选择一种。

    新版本的mysql对row格式也被做了优化,并不是所有的修改都会以row格式来记录,像遇到表结构变更的时候就会以statement格式来记录,如果sql语句确实就是update或者delete等修改数据的语句,那么还是会记录所有行的变更;因此,现在一般使用row格式即可。

对于row格式来说,mysql5.6新增binlog_row_image减少了DML操作产生的日志量:

  • 旧版逻辑:当表含有blob或者text类型的字段,update的时候,即使不更新这些字段,也会被记录到binlog中,会导致日志庞大。
  • 5.6新版逻辑:binlog_row_image提供full、minimal、nolob三个可选值。
    • full:记录所有字段信息,跟旧版一样。
    • minimal:只记录被修改的列信息。
    • nolob:记录除了blob和text以外的所有字段。

相关命令及配置

开启binlog

首先查看mysql binlog配置情况 show variables like '%log_bin%';

image

可以看到log_bin 状态是关闭 ,找到my.cnf配置文件,配置log-bin=binlog(binlog存放路径)。

查看binlog当前格式

show variables like '%binlog_format%';

image

设置binlog格式binlog_format=row

查看所有binlog日志列表

show master logs;

image

最新binlog日志

show master status;

image

查看某个binlog日志内容

show binlog events in 'binlog.000003' from 3 limit 2;

意思是:从pos=3的起始点开始,查看10条,日志名=binlog.000003的日志内容
image

另外一种方式是使用mysqlbinlog工具,可以看到更加详细的信息:

/usr/local/mysql/bin/mysqlbinlog /usr/local/mysql/data/binlog.000003

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,204评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,091评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,548评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,657评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,689评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,554评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,302评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,216评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,661评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,851评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,977评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,697评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,306评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,898评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,019评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,138评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,927评论 2 355

推荐阅读更多精彩内容