事务特性
事务特性分为:
原子性 每一个事务都是不可分割的整体,要么全部成功要么全部失败;
一致性 事务执行后的结果是和预设的规则完全符合的,不会因为出现系统意外等原因和预测的结果不一致;
隔离性 事务与事务之间是相互独立的,互不影响;也是在事务并发时实现一致性的一个前提,可以设置4种隔离级别。级别越高一致性越强,但并发性越低;
1.读未提交 会读到其他事务未提交的数据,产生脏读
2.读已提交 解决脏读,但在同一事务中多次读取单行数据会得到不同结果,即不可重复读的问题
3.可重复读 解决不可重复读,但会在多次范围查询时,得到数量不同的结果,即幻读。在innodb引擎中,不会存在此问题,实现原理是临键锁。
4.可串行化 解决幻读
持久性 事务一旦提交就会永久保存,不会因为系统意外原因而丢失
innodb事务的这些特性如何实现?锁、MVCC
锁
innodb一共有5种锁:共享锁(行)、排它锁(行)、意向共享锁(表)、意向排它锁(表)、自增锁。行锁实现有三种算法,又称为:临键锁next-key、间隙所gap和记录锁record。默认隔离级别不可重复读使用临键锁作为行锁的实现算法。
InnoDB的行锁是通过给索引上的索引项加锁来实现的,只有通过索引条件进行数据检索,InnoDB才使用行级锁,否则InnoDB 将使用表锁(锁住全部索引)。
锁的类型
1.共享锁:也称为读锁,可以让多个事务同时对数据进行操作时可以访问到数据,但不能修改。使用方式:
select语句+LOCK IN SHARE MOD
2.排它锁:又称为写锁。一个事务持有了一行数据的排它锁时,其他事务不能再访问和修改这行数据。innodb默认update delete insert上会加排它锁,select使用方式:
select语句+for update
3.意向共享锁:在事务对某一行加共享锁时,要先给该表加上意向共享锁。
4.意向排它锁:在事务对某一行数据加排它锁时,必须要先给该表加上意向排它锁。
作用是,当某一个事务需要去锁表时,不用判断每一行上是否有不兼容的锁,只需要判断有没有意向锁。如写操作锁表,判断某行数据是否存在共享锁,如果拿不到意向锁就可直接阻塞操作。
5.自增锁:针对自增列自增长的一个特殊的表级别锁。
锁的算法
1.临键锁next-key:当sql语句按照范围查询,并且有数据命中的时候会给索引加上临键锁,锁住命中索引项的前一个索引到命中索引项的后一个索引之间的一个左开右闭区间。因为锁住区间,所以避免了幻读。
2.间隙锁gap:当sql语句查找未命中时,会锁住查询条件值附近的间隙。
3.记录锁record:使用唯一索引查询并精准匹配到数据,则只会锁住该索引项。
这三种算法锁的原理基于b+tree索引。
死锁
事务并发时,每个事务都持有锁(或者是已经在等待锁),每个事务都需要再继续持有锁,然后事务之间产生加锁的循环等待,形成死锁。避免死锁:
1)类似的业务逻辑以固定的顺序访问表和行。
2)大事务拆小。大事务更倾向于死锁,如果业务允许,将大事务拆小。
3)在同一个事务中,尽可能做到一次锁定所需要的所有资源,减少死锁概 率。
4)降低隔离级别,如果业务允许,将隔离级别调低也是较好的选择 。
5)为表添加合理的索引。可以看到如果不走索引将会为表的每一行记录添 加上锁(或者说是表锁)
MVCC多版本并发控制
并发访问(读或写)数据库时,对正在事务内处理的数据做 多版本的管理。以达到用来避免写操作的堵塞,从而引发读操 作的并发问题。
新增:会给行数据添加两个隐藏列,数据版本号和删除版本号。数据版本号值为插入时的事务id,删除版本号默认为null。
删除:会给行数据的删除版本号设一个当前事务id值。
修改:会先拷贝一份行数据,再把原先行数据的删除版本号设值,再修改拷贝的数据,并改变数据版本号值。
查询:必须保证当前事务ID大于等于该行数据的数据版本号,并且删除版本号必须为null或者大于当前事务ID值。
undo log
undo log作用是保证了事务的原子性和普通select的快照读。当事务开启的时候会拷贝当前数据到undo log中,此时有其他事务中的select读取数据直接从undo log中获取,若事务回滚可根据undo log恢复原始数据。
redo log
redo log保证了事务的持久性。事务开启后,只要开始改变数据信息就会持续写入redo buffer中,具体落盘可以指定不同的策略。在数据库发生意外故障时,尚有修改的数据未写入磁盘,在重启mysql服务的时候,根据redo log恢复事务修改后的新数据。
Redo buffer 持久化到Redo log的策略有三种:
取值 0 每秒一次进行提交持久化[可能丢失一秒内 的事务数据]
取值 1 默认值,每次事务提交执行Redo buffer --> Redo log OS cache -->flush cache to disk [最安全,性能最差的方式]
取值 2 每次事务提交到系统缓存OS cache,再每一秒从系统缓存中执行持久化 操作
mysql配置优化
最大连接数配置 max_connections
connection内存参数配置:
sort_buffer_size connection排序缓冲区大小 建议256K(默认值)-> 2M之内 当查询语句中有需要文件排序功能时,马上为connection分配配置的内存大小。
join_buffer_size connection关联查询缓冲区大小 建议256K(默认值)-> 1M之内 当查询语句中有关联查询时,马上分配配置大小的内存用这个关联查 询,所以有可能在一个查询语句中会分配很多个关联查询缓冲区。
上述配置4000连接占用内存: 4000*(0.256M+0.256M) = 2G
Innodb_buffer_pool_size缓冲池大小配置
innodb buffer/cache的大小(默认128M)
Innodb_buffer_pool缓冲池包含:数据缓存 索引缓存 缓冲数据 内部结构
大的缓冲池可以减小多次磁盘I/O访问相同的表数据以提高性能
参考计算公式: Innodb_buffer_pool_size = (总物理内存 - 系统运行所用 - connection 所用)* 90%
其他参数配置
wait_timeout 服务器关闭非交互连接之前等待活动的秒数
innodb_open_files 限制Innodb能打开的表的个数
innodb_write_io_threads innodb_read_io_threads innodb:使用后台线程处理innodb缓冲区数据页上的读写 I/O(输入输出)请求的数量
innodb_lock_wait_timeout InnoDB事务在被回滚之前可以等待一个锁定的超时秒数