MySQL 之 Metadata Locking [转]

MySQL 在 5.5 中引入了 metadata lock. 顾名思义,metadata lock 不是为了保护表中的数据的,而是保护 database objects(数据库对象)的。包括表结构、schema、存储过程、函数、触发器、mysql的调度事件(events). 要理解 metadata lock 最重要的一点就是:将 metadata lock放到数据库事务的语义中来理解。metadata lock 的作用就是当一个事务在执行时,事务涉及到的所有元数据(metadata,也就是 database objects),必须是安全的。比如你在一个事物中select一个table,必须保证该table在你的事物完成之前,她不会被删除了,或者不会被修改了。

1. metadata lock 的作用

MySQL uses metadata locking to manage concurrent access to database objects and to ensure data consistency. Metadata locking applies not just to tables, but also to schemas and stored programs (procedures, functions, triggers, and scheduled events).

metadata lock管理对database objects的并发访问,保证数据一致性。

2.metadata lock 会导致性能损耗和锁争用

Metadata locking does involve some overhead, which increases as query volume increases. Metadata contention increases the more that multiple queries attempt to access the same objects.

metadata lock 的引入导致一定的性能损耗。对同一个database object的访问越多,就会越导致该对象上的metadata lock的争用。

3.

Metadata locking is not a replacement for the table definition cache, and its mutexes and locks differ from the LOCK_open mutex.

metadata lock 并不是 为了替代 表定义缓存。其mutex和lock和 LOCK_open mutex不一样。

4.

To ensure transaction serializability, the server must not permit one session to perform a data definition language (DDL) statement on a table that is used in an uncompleted explicitly or implicitly started transaction in another session. The server achieves this by acquiring metadata locks on tables used within a transaction and deferring release of those locks until the transaction ends. A metadata lock on a table prevents changes to the table's structure. This locking approach has the implication that a table that is being used by a transaction within one session cannot be used in DDL statements by other sessions until the transaction ends.

正在运行中的事务,必须要在事务开始时获得它要访问的所有的database objects上的 metadata lock, 然后在事务结束时释放那些database objects上的metadata lock. 事务和metadata lock的关系是极其紧密的:有事务必然就必然有metadata lock,事物结束就释放。metadata lock防止事物中的database objects 被修改,比如阻止事物中的table的结构被修改。所以事务中的database objects上执行DDL会被阻塞,直到事务结束。

5.

This principle applies not only to transactional tables, but also to nontransactional tables. Suppose that a session begins a transaction that uses transactional table t and nontransactional table nt as follows:

START TRANSACTION;
SELECT * FROM t;
SELECT * FROM nt;
The server holds metadata locks on both t and nt until the transaction ends. If another session attempts a DDL or write lock operation on either table, it blocks until metadata lock release at transaction end. For example, a second session blocks if it attempts any of these operations:

DROP TABLE t;
ALTER TABLE t ...;
DROP TABLE nt;
ALTER TABLE nt ...;
LOCK TABLE t ... WRITE;
metadata lock不仅仅涉及到事务引擎中的table,同样也适用于非事务引擎中的table. metadata lock不仅仅阻塞DDL,同时也阻塞 lock table table_name write 语句。

6.

If the server acquires metadata locks for a statement that is syntactically valid but fails during execution, it does not release the locks early. Lock release is still deferred to the end of the transaction because the failed statement is written to the binary log and the locks protect log consistency.

如果一个sql语句语法正确,但是却执行失败了,其上的metadata lock并不会马上释放,而是要在事务结束之后才释放。这是为了保证日志的一致性。

7.

In autocommit mode, each statement is in effect a complete transaction, so metadata locks acquired for the statement are held only to the end of the statement.

自动提交模式(mysql命令行工具默认是自动提交模式),语句一执行完马上就释放metadata lock,因为他是自动提交的单语句事务。

8.

Metadata locks acquired during a PREPARE statement are released once the statement has been prepared, even if preparation occurs within a multiple-statement transaction.

事务中的metadata lock直到事务结束才释放,但是有一个特例:事务中的prepare(一般用在存储过程中的动态语句)语句一执行完马上释放对应的metadata lock.

9.

Before MySQL 5.5, when a transaction acquired the equivalent of a metadata lock for a table used within a statement, it released the lock at the end of the statement. This approach had the disadvantage that if a DDL statement occurred for a table that was being used by another session in an active transaction, statements could be written to the binary log in the wrong order.

MySQL 5.5 引入了metadata lock,取代了之前版本中的等价物。

但是metadata lock和她之前的等价物有一个区别:metadata lock直到事务结束才释放,而她的等价物是语句执行完就马上释放。metadata lock这样做的目的是为了保证 binary log 顺序的正确。

DDL最大的危害

首先在A终端中设置autocommit=off; 然后随便执行一个select/update/delete语句,一直不提交,占用 metadata lock:

mysql> select userId,user_Sex from uu_test limit 2;
+--------+----------+
| userId | user_Sex |
+--------+----------+
| 1 | M|
| 2 | F|
+--------+----------+
2 rows in set (0.09 sec)

然后在终端B中执行一条 DDL,很明显它会被上面的 metadata lock 阻塞:



然后我们在C终端中对同一个表uu_test执行随便一条:select/update/delete语句,神奇的情况发生!!!!!



可以看到C终端中的对同表uu_test一条select语句尽然被阻塞了!!!!!!

看下终端D中的show processlist:



可以看到:DDL 语句 alter table uu_test add index(user_QQ) 被 未提交的事务阻塞,然后DDL语句进而阻塞了其后事务中所有的针对同表uu_test的任何语句。以为他们都要获得 metadada lock。这应该是DDL语句的最大危害之处。同理可以推断:长事物长时间持有 metadata lock, 会阻塞其它DDL语句对metada lock的互斥申请,然后该DDL语句阻塞其后所有的涉及到该database objects的所有语句。这里按照我们的正常逻辑,C中的语句应该不会被阻塞才对啊?难道是为了防止DDL语句对metadata lock的申请,发生饥饿现象。所以才阻塞了C中的语句。或者对metadata lock的申请维持了一个FIFO的队列?

然后我们在A终端中执行提交:commit; 然后 B 中的DDL语句立即获得 metadata lock,然后又马上释放;然后C中的 select 也成功获得metadata lock. B中的DDL语句因为执行时间长,它会在C执行完之后,才执行完成。这也说明了DDL语句对metadata lock的持有是瞬时的,并不会在执行期间一直持有(不然C也不会再B之前执行完成)。

找出谁持有表锁

mysqladmin debug 或者,我们也可以粗糙的用show processlist,但这信息比较不全

监控表锁

show status like 'table_locks%'

  • Table_locks_immediate:自上次启动以来申请的表锁数,可累计,重启后则被初始化
  • Table_locks_waited:被阻塞的表锁数,可累计 这2个变量要合起来看:每申请多少个表锁,有几个被锁住

总结:

1)metadata lock保护的是元数据,也就是database object(表结构等元数据),而不是表中的数据;

2)每一个在运行中的事务涉及到的database object,都必须获得metadata lock,然后在事务结束时进行释放(parepare语句除外);

3)DDL 语句以及lock table xxx write 和 事务 对 metadata lock 存在互斥争用;

普通的update,select,delete并不会在metadata lock上争用,也就是多个运行中的事物可以同时持有同一个database object上的metadata lock.

4)mysql终端默认是autocommit=on,千万不要将mysql工具默认修改成autocommit=off; 而JDBC连接默认是 autocommit=off的;

5)metadata lock 因为每一个事务都要先获得,事物结束时释放,所以MySQL中一定不要有大事务,特别是运行时间比较长的事物;

不然会导致对metadata lock的长期占用。会阻塞其它事务中任何涉及到该database object的DDL语句和lock table ... write语句;

6)DDL 语句和 事务还有lock table xxx write语句的区别:

DDL 语句并不会再执行期间一直持有metadata lock,而是只在执行的开始瞬时持有metadata lock,马上释放;

而事务会在事务期间一直持有metadata lock;lock table xxx write语句也会一直持有metadata lock直到unlock语句解锁。

7)长的事物 和 lock table ... write语句会长时间持有 metadata lock; 所以在执行DDL语句之前,要使用show processlist语句看DDL语句涉及到的table

是否被某个长时间运行的事物所访问。不然DDL语句会存在一直被 metadata lock 所阻塞的危险。可怕的不是DDL,而是长事务。

8)mysql命令行工具中执行的 DDL 语句不会受到 autocommit=on/off 的影响,DDL 语句自动开始事务,结束时自动提交事物;

9)DDL语句的最大危害之处:

未提交事物或者长事务,它们会长时间持有 metadata lock, 会阻塞其后的DDL语句对metada lock的互斥申请,

然后该DDL语句对metadata lock的互斥申请,会阻塞其后所有的涉及到该database objects的所有语句,因为它们也要申请metadata lock。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容