关于sql优化

在业务快速开发迭代中,其实很多性能的瓶颈在于我们底层的数据库,sql语句的性能,索引创建的时机,间接就决定着我们请求响应时间。

sql之所以要优化是因为有大量的慢查询存在,可以利用show variables like 'slow_query_log'来查看是否开启慢查询,以及慢查询的阈值设置根据自己的业务开发需要而做修改,那慢查询产生的原因有以下几点:

1.两张比较大的表进行 JOIN,但是没有给表的相应字段加索引,这个是最常见的慢sql出现的原因

2.表存在索引,但是查询的条件过多,且字段顺序与索引顺序不一致

这里就要说到联合索引,要满足最左前缀匹配原则,mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配,比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引则都可以用到,a,b,d的顺序可以任意调整;

3.对很多查询结果进行 GROUP BY

Group By 关键字由于涉及到数据的排序,对于数据量特别大的情况,还需要进行外排序。所以,尽量对小数据量进行 Group By 操作;group by 尽量对少的数据量使用 前面加where 过滤后使用,提前规划好数据库设计避免大数据量group by,可以考虑能不能把group by后面的纬度一开始分表存储


下面是在学习工作之中遇到的实际问题

场景1:   

在 90 万条的数据表中,大概在 30 个字段左右,字段都是 int 和 char 类型。其中一个字段 name 的值有 a、b、c、d 四种。给 name 创建了普通索引。

SELECT * FROM hotel WHERE name IN('a','b');

此时利用explain关键字进行sql性能分析发现type是ALL,说明进行性能比较差的全表扫描,并没有走索引,Extra是Using where,说明就算用了索引后,还要进行回表操作,可以会造成不必要的IO操作


索引完全没有起到任何作用。如何优化索引?

其实这里并不是因为数据量少而不走索引,而是索引本身建立的不正确,name字段本身的唯一性并不高,我们在理解索引本质之后假设走了索引,并且假设一个极端的情况,90万数据,name字段有0,1两个值,利用索引先要读索引文件,然后利用二分查找或者b+数分叉查找,找到对应的数据磁盘指针,再通过指针读取磁盘上的数据(如果是非聚集索引,还要进行多级索引读取),影响的结果集是45万(二分查找的情况),那在这种情况下,索引查找步骤繁琐,甚至不如全表扫描的速度快。

所以说,当name字段唯一性不高时,in中的数据过多时,将不会走索引。

场景2:

比较经典的例子是在mysql中limit可以实现快速分页,但是如果数据到了几百万时我们的limit必须优化才能有效的合理的实现分页了,否则可能卡死你的服务器。

select * from table limit 0, 10 ,这个是没有问题的,如果select id,name,content from users order by id limit 100000,20,这条语句扫描100020行,但只要20行,问题就出在这里了,首先可以这样优化,如果记录了上次的最大ID

利用select id,name,content from users where id>100073 order by id asc limit 20,扫描20行


再比如 select * from table where name=’f’ order by id limit 300000,10 执行时间是 3.21s   优化后的sql:

             select * from (

               select id from table

               where byname=’f’ order by id limit 300000,10

   ) a

   left join table b on a.id=b.id。执行时间为 0.11s 速度明显提升

   这里需要说明的是 我这里用到的字段是 name ,id 需要把这两个字段做复合索引,否则的话效果提升不明显。

   当一个数据库表过于庞大,LIMIT offset, length中的offset值过大,则SQL查询语句会非常缓慢,你需增加order by,并且order by字段需要建立索引。

   如果使用子查询去优化LIMIT的话,则子查询必须是连续的,某种意义来讲,子查询不应该有where条件,where会过滤数据,使数据失去连续性。

   如果你查询的记录比较大,并且数据传输量比较大,比如包含了text类型的field,则可以通过建立子查询。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,634评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,951评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,427评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,770评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,835评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,799评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,768评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,544评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,979评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,271评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,427评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,121评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,756评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,375评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,579评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,410评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,315评论 2 352

推荐阅读更多精彩内容

  • 50个常用的sql语句Student(S#,Sname,Sage,Ssex) 学生表Course(C#,Cname...
    哈哈海阅读 1,231评论 0 7
  • 一、MySQL优化 MySQL优化从哪些方面入手: (1)存储层(数据) 构建良好的数据结构。可以大大的提升我们S...
    宠辱不惊丶岁月静好阅读 2,425评论 1 8
  • SQL 优化(载录于:http://m.jb51.net/article/5051.htm) 作者: (一)深入浅...
    yuantao123434阅读 731评论 0 7
  • MSSQL 跨库查询(臭要饭的!黑夜) 榨干MS SQL最后一滴血 SQL语句参考及记录集对象详解 关于SQL S...
    碧海生曲阅读 5,582评论 0 1
  • 理论坞——打造你自己的理论库 蝴蝶效应(The Butterfly Effect)是指在一个动力系统中,初始条件下...
    雨相三千阅读 439评论 0 2