InnoDB存储引擎--文件

1.参数文件

show variables like '%data_dir%'; //查看参数

动态参数:实例运行时可更改
静态参数:实例运行时不可更改

//会话级参数如autocommit; 
//整个实例生命周期生效的参数如binlog_cache_size 
//可以会话也可以整个实例生命周期如read_buffer_size 
set [global|session] name = value 
set @@global.name = value set @@session.name = value

2.日志文件

2.1 错误日志(error log)

记录启动、运行、关闭,出问题首先看错误日志。

show variables like 'log_error'; //查看错误日志路径

2.2 慢查询日志(slow query log)

相关参数:

long_query_time | 10.000000 //以微秒精度记录大于10秒的查询SQL 
slow_query_log | OFF //ON开启慢查询日志 
slow_query_log_file | E:\java\Mysql\mysql5.7\data\ZSC-PC-slow.log //日志路径 
mysqldumpslow //分析慢查询日志的命令

log_queries_not_using_indexes | OFF //ON会记录没使用索引的SQL 
//每分钟允许记录的未使用索引的SQL次数,0表示没有限制。避免slow log不断增加 
log_throttle_queries_not_using_indexes | 0

//设置log_output参数为TABLE,可以将日志记录到mysql下的slow_log表。 
set global log_output = 'TABLE'; //FILE TABLE 
SELECT SLEEP(10); 
SELECT * FROM MYSQL.SLOW_LOG;

慢查询日志表MYSQL.SLOW_LOG使用了CSV引擎,大数据量查询效率可能不高。可以改成MyISAM并给start_time加索引,不过还是会造成额外开销。

2.3 查询日志(log)

记录所有对数据库的请求信息(无论是否正确执行)。可记录到表mysql.general_log

2.4 二进制日志(binlog)

记录数据库执行更改的所有操作。用于复制、恢复、审计。

1.开启二进制日志

my.ini配置文件配置参数log_bin。开启二进制日志使性能下降约1%。

#开启二进制日志
log_bin=mysql_bin_log 
#开启二进制日志要设置server-id 
#server-id参数用于在复制中,为主库和备库提供一个独立的ID,以区分主库和备库 
server-id=1

重启服务器后,E:\java\Mysql\mysql5.7\data下增加了两个文件:

  1. mysql_bin_log.000001为二进制日志。执行flush logs;(会影响slow log,general log)或重启服务后,会产生新的日志文件,序号递增。
  2. mysql_bin_log.index为二进制文件的索引,存储二进制日志的清单

2.删除二进制日志

purge binary logs to 'mysql_bin_log.000003'; //删这个文件之前的日志 
purge binary logs before '2020-04-27 00:00:00'; //删这个时间前的日志 
purge master logs before date_sub( now( ), interval 7 day);//删七天前的 
reset master;//当前不存在主从复制关系时,清除所有二进制日志 
expire_logs_days;//设置自动清理,0:不启用。通常启动、FLUSH日志时进行自动清理

3.二进制日志相关参数

show variables like '%log_bin%'; 
log_bin | ON //是个静态参数,所以只能用配置文件改 
//二进制日志文件名,无需配置 
log_bin_basename | E:\java\Mysql\mysql5.7\data\mysql_bin_log 
//设置二进制日志的索引文件 
log_bin_index | E:\java\Mysql\mysql5.7\data\mysql_bin_log.index 
//开启会限制存储过程、Function、触发器的创建。默认off 
log_bin_trust_function_creators | OFF 
// 
log_bin_use_v1_row_events | OFF 
//控制会话级别二进制日志功能的开启或关闭。默认on 
sql_log_bin | ON
//单个二进制文件最大值。1G 
max_binlog_size | 1073741824 
//3未提交时二进制日志存在该缓存。2K。
//是基于会话的,即线程开始一个事务就会分配一个32K缓存,不能设太大。
//事务记录超过32K就会写入临时文件,故也不能太小。 
binlog_cache_size | 32768 
//查看binlog_cache的运行情况 show global status like 'binlog_cache%'; 
Binlog_cache_disk_use | 0 //使用临时文件次数。0说明32K缓存够用 
Binlog_cache_use | 0 //使用缓存次数 

//表示每写缓存多少次就同步到磁盘。1表示同步写磁盘,可用性高,对IO有一定影响。 
sync_binlog | 1 

//STATEMENT : 记的是日志的逻辑SQL语句 
//ROW : 记录表的行更改情况。解决了STATEMENT格式的复制问题。 
//MIXED : 默认STATEMENT,一些情况下使用
ROW binlog_format | ROW 
//MIXED 使用 ROW的情况 
1.NDB引擎时的DML 
2.UUID(),USER(),CURRENT_USER(),FOUND_ROWS(),ROW_COUNT()等不确定函数 
3.INSERT DELAY 
4.用户定义函数(UDF) 
5.使用临时表
binlog_format的STATEMENT格式(未研究)
  • 对复制有要求。主服务器上使用rand、uuid函数或触发器,可能导致主从服务器表数据不一致。
  • InnoDB的默认隔离级别得是REPEATABLE READ。如果使用大多数据库的READ COMMITED,可能出现类似丢失更新的现象,导致主从数据不一致。

4.查看二进制文件

得用mysqlbinlog工具

mysqlbinlog --start-position=203 mysql_bin_log.000001

3.套接字文件

本地采用UNIX域套接字连接mysql时需要socket文件,一般在/tmp下

show variables like '%socket%';

4.pid文件

实例启动时会将自己的进程ID写入pid文件

show variables like '%pid_file%'; 
pid_file | E:\java\Mysql\mysql5.7\data\ZSC-PC.pid

5.表结构定义文件

由于插件式的存储引擎结构,mysql根据表进行存储。
frm文件存储表结构,还可用来记录视图。

6.InnoDB存储引擎文件

6.1 表空间文件

默认会有初始大小为10m的ibdata1表空间文件

show variables like '%innodb_data_file%'; 
innodb_data_file_path | ibdata1:12M:autoextend //用完自动增长 
innodb_file_per_table | ON //每张表有独立表空间 表名.ibd

独立表空间文件存放该表的数据、索引和插入缓冲bitmap等信息。
其余存在默认表空间。

6.2 重做日志文件

  • 默认会有ib_logfile0和ib_logfile1重做日志文件。
  • 每个InnoDB存储引擎至少有1个重做日志文件组,每组至少2个重做日志文件。
  • 为提高可用性,可以设置多个镜像日志组,存在不同磁盘。若磁盘本身已有高可用方案(如磁盘阵列),可不开启镜像。
  • 重做日志文件太大,恢复时间会较长。重做日志文件太小,一个事务可能多次切换文件。此外会频繁发生async checkpoint,导致性能抖动
innodb_log_file_size | 50331648 //重做日志大小 
innodb_log_files_in_group | 2 //一组几个重做日志文件 
innodb_log_group_home_dir | .\ //日志文件组所在路径 
innodb_mirrored_log_groups| //镜像文件组数量。我机器上没找到该参数
重做日志的写入

按扇区(512k)最小写单位写入,保证写入必成功,不需要doublewrite。
何时写入?

  1. master thread每秒进行写入。
  2. innodb_flush_log_at_trx_commit参数 : 为了保证ACID持久性,必须设为1
    • 0(提交时不写,等主线程每秒写)
    • 1(commit时将缓冲同步到磁盘,fsync)
    • 2(commit时将缓冲异步到磁盘)


      写入.jpg
二进制日志与重做日志的区别
  • 层次:二进制日志记录mysql数据库相关的。重做日志记录与InnoDB相关的事务日志
  • 内容:二进制日志是逻辑日志,记录事务的具体操作内容。重做日志记录页的更改清空
  • 写入时间:二进制日志在事务提交前写入,只写一次。重做日志只要事务在进行就会产生。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,504评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,434评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,089评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,378评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,472评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,506评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,519评论 3 413
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,292评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,738评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,022评论 2 329
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,194评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,873评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,536评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,162评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,413评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,075评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,080评论 2 352