网络八股文之外, 你需要知道的MySQL知识

今天聊下MySQL的一些重要知识,有些可能和你之前所了解的并不一样,但却是事实!follow me~

1.上线需求时, SQL脚本直接执行吗?

你可能会说这不是废话吗?其实不然。对于create表或insert数据这种脚本,当然直接执行即可,但是对于alert表、create索引、update、delete这类脚本,如果你们公司有DBA的话,你把要上线执行的脚本提工单给DBA让他执行,他肯定是会先查询下你要操作表的数据量,根据数据量去做出下一步操作的依据。此时会出现两种结果:

  1. DBA直接告诉你脚本已经执行,OK,完事
  2. DBA通知你表数据量大,请走无锁变更(云RDS的功能),并且还会建议你在业务低峰期执行

为什么对于alert表、create索引、update、delete这类脚本尤其要关注数据量呢?因为这些操作在数据量大时是非常消耗数据库资源的,如cpu、内存,同时会不同程度的锁表,这个对你正在运行的生产环境来说极其重要。本来你的系统运行的很丝滑,结果你开始在生产环境执行要上线需求的脚本,这些脚本导致锁表(MySQL的机制),并且是长时间锁表(数据量大),那么你的业务系统访问数据读写数据的性能将会大幅下降,系统读写无法正常使用,从而导致不必要的生产事故。

执行脚本这种场景,多大数据量是警戒线呢?这里建议一般是300万,如果你的系统并发量很高,数据量超过100万时就要区别对待要执行的脚本了。所以养成好习惯,在线上执行脚本前要先查下表的数据量,大数据量时建议选在业务低峰时间执行脚本

2.多大数据量才算大表, 都要分库分表吗?

是500万?是2000万?是1亿?正如上个话题聊的,我们是要分场景去区分的。一个负责记录业务操作记录的类似log功能表,1个亿的数据量也是正常的,你可能会说谁家的MySQL一个表会存1亿数据,你不分表吗?太low!其实这是非常正常的,对MySQL来说完全没问题。分库分表是我们解决问题的一种思路,但并不是大表必须要做的。比如我们系统的一个审核记录表,目前数据量有5千多万,日增数据量为24万左右,如下:


大表数据量.png

该表是属于写多,读也多,是一个比较重要的表,目前的单表查询以及接口查询耗时如下:
单表索引字段查询耗时25ms


单表索引字段查询.png

涉及该表的接口查询(接口中还有其它RPC调用),RT如下:
接口涉及的查询.png

性能依然还不错。后续对该表的优化也并不是优先考虑分库分表!可以考虑表分区,可以归档旧数据等等。这里要传达的核心就是:我们要充分挖掘、利用MySQL的优点,把他的性能发挥到极致。分库分表是一种重要的思路,但是你要分库分表必须给出详尽的技术选型说明以及需求、方案评审,总之你要说服技术委员会,否则中大型公司中是不会你想用什么就用什么。毕竟引入一个组件就多了一个变量和复杂性。
另外针对大表必须要注意

  1. 查询字段必须有索引,否则直接搞坏系统
  2. 单表磁盘占用超过10G之后就要考虑归档

3. 开发中库表的把控

代码review是我们开发人的共识,是质量把控的重要一环,review对库表来说同样非常重要。开始开发之前,一般中大型公司的team都是要review你的需求开发详设的,这期间就包括需求涉及的库表的review。核心item有:

  1. 新增的表结构是否设计合理
  2. 设置的索引是否合理(是否是冗余重复的?是否违背最左匹配原则?)
    a. 比如生产表上已有联合索引(col_a, col_b),那就不要再对col_a单独设置索引了
    b. 比如生产表上已有联合索引(col_a, col_b), 时间字段就不要作为第一个索引字段,根据时间范围查询时,联合索引范围查询字段后面的索引字段不会走索引。所以联合索引中时间字段一般放在最后
  3. 有没有涉及到大表的CRUD,查询字段必须要有索引

4.索引是耗资源的

MySQL的表空间占用大小 = 存储的数据大小+索引占用的大小,所以索引字段并不是越多越好,同样消耗实实在在的磁盘空间,比如下图中这个表的大小为17.4GB,业务数据7GB左右,索引数据10GB左右


表空间大小.png

5.关于批量写表

业务代码中需要进行批量写表时,要控制批量的大小,比如一次1000条,不能不管数量直接foreach拼接就完事了。之前出现过生产事故就是由批量update造成的,开发小伙伴组装好list之后,直接调用mybatis的foreach批量更新,dev、fat、uat测试均没有任何问题,上线之后某天突然服务接口大量超时,告警不断。最后排查下来,是一个批量update的sql语句把MySQL资源耗尽了。那个update语句结构是这样的:

update 表 set col_a=xxx, col_b=xxx where xxx and id in(...);

线上环境业务触发相关操作,执行后,这个in条件中有8万多条数据,直接导致锁表时间很长,db所在机器cpu和内存被大量占用,最终导致系统接口大量超时不可用。

Okay,今天就到这儿,回聊~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,383评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,522评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,852评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,621评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,741评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,929评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,076评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,803评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,265评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,582评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,716评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,395评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,039评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,027评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,488评论 2 361
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,612评论 2 350

推荐阅读更多精彩内容