Mysql底层学习

前言:

  一直是想知道一条SQL语句是怎么被执行的,它执行的顺序是怎样的,然后查看总结各方资料,就有了下面这一篇博文了。

  本文将从MySQL总体架构--->查询执行流程--->语句执行顺序来探讨一下其中的知识。


一、MySQL架构总览:

  架构最好看图,再配上必要的说明文字。

  下图根据参考书籍中一图为原本,再在其上添加上了自己的理解。


  从上图中我们可以看到,整个架构分为两层,上层是MySQLD的被称为的‘SQL Layer’,下层是各种各样对上提供接口的存储引擎,被称为‘Storage Engine Layer’。其它各个模块和组件,从名字上就可以简单了解到它们的作用,这里就不再累述了。


二、查询执行流程

  下面再向前走一些,容我根据自己的认识说一下查询执行的流程是怎样的:

1.连接

  1.1客户端发起一条Query请求,监听客户端的‘连接管理模块’接收请求

  1.2将请求转发到‘连接进/线程模块’

  1.3调用‘用户模块’来进行授权检查

  1.4通过检查后,‘连接进/线程模块’从‘线程连接池’中取出空闲的被缓存的连接线程和客户端请求对接,如果失败则创建一个新的连接请求


2.处理

  2.1先查询缓存,检查Query语句是否完全匹配,接着再检查是否具有权限,都成功则直接取数据返回

  2.2上一步有失败则转交给‘命令解析器’,经过词法分析,语法分析后生成解析树

  2.3接下来是预处理阶段,处理解析器无法解决的语义,检查权限等,生成新的解析树

  2.4再转交给对应的模块处理

  2.5如果是SELECT查询还会经由‘查询优化器’做大量的优化,生成执行计划

  2.6模块收到请求后,通过‘访问控制模块’检查所连接的用户是否有访问目标表和目标字段的权限

  2.7有则调用‘表管理模块’,先是查看table cache中是否存在,有则直接对应的表和获取锁,否则重新打开表文件

  2.8根据表的meta数据,获取表的存储引擎类型等信息,通过接口调用对应的存储引擎处理

  2.9上述过程中产生数据变化的时候,若打开日志功能,则会记录到相应二进制日志文件中


3.结果

  3.1Query请求完成后,将结果集返回给‘连接进/线程模块’

  3.2返回的也可以是相应的状态标识,如成功或失败等

  3.3‘连接进/线程模块’进行后续的清理工作,并继续等待请求或断开与客户端的连接

 

一图小总结



三、SQL解析顺序

  接下来再走一步,让我们看看一条SQL语句的前世今生。

  首先看一下示例语句

SELECTDISTINCT<select_list>FROM<left_table><join_type>JOIN<right_table>ON<join_condition>WHERE<where_condition>GROUPBY<group_by_list>HAVING<having_condition>ORDERBY<order_by_condition>LIMIT <limit_number>

  然而它的执行顺序是这样的

1FROM<left_table> 2ON<join_condition> 3<join_type>JOIN<right_table> 4WHERE<where_condition> 5GROUPBY<group_by_list> 6HAVING<having_condition> 7SELECT 8DISTINCT<select_list> 9ORDERBY<order_by_condition>10LIMIT<limit_number>

  虽然自己没想到是这样的,不过一看还是很自然和谐的,从哪里获取,不断的过滤条件,要选择一样或不一样的,排好序,那才知道要取前几条呢。

既然如此了,那就让我们一步步来看看其中的细节吧。


准备工作

  1.创建测试数据库

createdatabasetestQuery

  2.创建测试表

CREATETABLE table1

(

    uid VARCHAR(10)NOTNULL,

    name VARCHAR(10)NOTNULL,

    PRIMARYKEY(uid)

)ENGINE=INNODBDEFAULTCHARSET=UTF8;CREATETABLE table2

(

    oid INTNOTNULL auto_increment,

    uid VARCHAR(10),

    PRIMARYKEY(oid)

)ENGINE=INNODBDEFAULTCHARSET=UTF8;

  3.插入数据

INSERTINTOtable1(uid,name)VALUES('aaa','mike'),('bbb','jack'),('ccc','mike'),('ddd','mike');INSERTINTOtable2(uid)VALUES('aaa'),('aaa'),('bbb'),('bbb'),('bbb'),('ccc'),(NULL);

  4.最后想要的结果

SELECT    a.uid,

    count(b.oid)AS totalFROM    table1 AS aLEFTJOINtable2ASbONa.uid= b.uidWHERE    a. NAME ='mike'GROUPBY    a.uidHAVINGcount(b.oid)<2ORDERBY    total DESCLIMIT 1;


!现在开始SQL解析之旅吧!


1. FROM

当涉及多个表的时候,左边表的输出会作为右边表的输入,之后会生成一个虚拟表VT1。

(1-J1)笛卡尔积

计算两个相关联表的笛卡尔积(CROSS JOIN) ,生成虚拟表VT1-J1。

mysql>select*from table1,table2;+-----+------+-----+------+|uid|name|oid|uid|+-----+------+-----+------+|aaa|mike|1|aaa||bbb|jack|1|aaa||ccc|mike|1|aaa||ddd|mike|1|aaa||aaa|mike|2|aaa||bbb|jack|2|aaa||ccc|mike|2|aaa||ddd|mike|2|aaa||aaa|mike|3|bbb||bbb|jack|3|bbb||ccc|mike|3|bbb||ddd|mike|3|bbb||aaa|mike|4|bbb||bbb|jack|4|bbb||ccc|mike|4|bbb||ddd|mike|4|bbb||aaa|mike|5|bbb||bbb|jack|5|bbb||ccc|mike|5|bbb||ddd|mike|5|bbb||aaa|mike|6|ccc||bbb|jack|6|ccc||ccc|mike|6|ccc||ddd|mike|6|ccc||aaa|mike|7|NULL||bbb|jack|7|NULL||ccc|mike|7|NULL||ddd|mike|7|NULL|+-----+------+-----+------+28rowsinset(0.00sec)


(1-J2)ON过滤

基于虚拟表VT1-J1这一个虚拟表进行过滤,过滤出所有满足ON 谓词条件的列,生成虚拟表VT1-J2。

注意:这里因为语法限制,使用了'WHERE'代替,从中读者也可以感受到两者之间微妙的关系;

mysql>SELECT->*->FROM-> table1,

    -> table2

    ->WHERE->table1.uid= table2.uid

    -> ;+-----+------+-----+------+|uid|name|oid|uid|+-----+------+-----+------+|aaa|mike|1|aaa||aaa|mike|2|aaa||bbb|jack|3|bbb||bbb|jack|4|bbb||bbb|jack|5|bbb||ccc|mike|6|ccc|+-----+------+-----+------+6rowsinset(0.00sec)


(1-J3)添加外部列

如果使用了外连接(LEFT,RIGHT,FULL),主表(保留表)中的不符合ON条件的列也会被加入到VT1-J2中,作为外部行,生成虚拟表VT1-J3。

mysql>SELECT->*->FROM->table1AS a

    ->LEFTOUTERJOINtable2ASbONa.uid= b.uid;+-----+------+------+------+|uid|name|oid|uid|+-----+------+------+------+|aaa|mike|1|aaa||aaa|mike|2|aaa||bbb|jack|3|bbb||bbb|jack|4|bbb||bbb|jack|5|bbb||ccc|mike|6|ccc||ddd|mike|NULL|NULL|+-----+------+------+------+7rowsinset(0.00sec)


下面从网上找到一张很形象的关于‘SQL JOINS'的解释图,如若侵犯了你的权益,请劳烦告知删除,谢谢。



2. WHERE

对VT1过程中生成的临时表进行过滤,满足WHERE子句的列被插入到VT2表中。

注意:

此时因为分组,不能使用聚合运算;也不能使用SELECT中创建的别名;

与ON的区别:

如果有外部列,ON针对过滤的是关联表,主表(保留表)会返回所有的列;

如果没有添加外部列,两者的效果是一样的;

应用:

对主表的过滤应该放在WHERE;

对于关联表,先条件查询后连接则用ON,先连接后条件查询则用WHERE;

mysql>SELECT->*->FROM->table1AS a

    ->LEFTOUTERJOINtable2ASbONa.uid= b.uid

    ->WHERE->a. NAME='mike';+-----+------+------+------+|uid|name|oid|uid|+-----+------+------+------+|aaa|mike|1|aaa||aaa|mike|2|aaa||ccc|mike|6|ccc||ddd|mike|NULL|NULL|+-----+------+------+------+4rowsinset(0.00sec)


3. GROUP BY

这个子句会把VT2中生成的表按照GROUP BY中的列进行分组。生成VT3表。

注意:

其后处理过程的语句,如SELECT,HAVING,所用到的列必须包含在GROUP BY中,对于没有出现的,得用聚合函数;

原因:

GROUP BY改变了对表的引用,将其转换为新的引用方式,能够对其进行下一级逻辑操作的列会减少;

我的理解是:

根据分组字段,将具有相同分组字段的记录归并成一条记录,因为每一个分组只能返回一条记录,除非是被过滤掉了,而不在分组字段里面的字段可能会有多个值,多个值是无法放进一条记录的,所以必须通过聚合函数将这些具有多值的列转换成单值;

mysql>SELECT->*->FROM->table1AS a

    ->LEFTOUTERJOINtable2ASbONa.uid= b.uid

    ->WHERE->a. NAME='mike'->GROUPBY-> a.uid;+-----+------+------+------+|uid|name|oid|uid|+-----+------+------+------+|aaa|mike|1|aaa||ccc|mike|6|ccc||ddd|mike|NULL|NULL|+-----+------+------+------+3rowsinset(0.00sec)


4. HAVING

这个子句对VT3表中的不同的组进行过滤,只作用于分组后的数据,满足HAVING条件的子句被加入到VT4表中。

mysql>SELECT->*->FROM->table1AS a

    ->LEFTOUTERJOINtable2ASbONa.uid= b.uid

    ->WHERE->a. NAME='mike'->GROUPBY-> a.uid

    ->HAVING->count(b.oid)<2;+-----+------+------+------+|uid|name|oid|uid|+-----+------+------+------+|ccc|mike|6|ccc||ddd|mike|NULL|NULL|+-----+------+------+------+2rowsinset(0.00sec)


5. SELECT

这个子句对SELECT子句中的元素进行处理,生成VT5表。

(5-J1)计算表达式 计算SELECT 子句中的表达式,生成VT5-J1

(5-J2)DISTINCT

寻找VT5-1中的重复列,并删掉,生成VT5-J2

如果在查询中指定了DISTINCT子句,则会创建一张内存临时表(如果内存放不下,就需要存放在硬盘了)。这张临时表的表结构和上一步产生的虚拟表VT5是一样的,不同的是对进行DISTINCT操作的列增加了一个唯一索引,以此来除重复数据。

mysql>SELECT-> a.uid,

    ->count(b.oid)AS total

    ->FROM->table1AS a

    ->LEFTOUTERJOINtable2ASbONa.uid= b.uid

    ->WHERE->a. NAME='mike'->GROUPBY-> a.uid

    ->HAVING->count(b.oid)<2;+-----+-------+|uid|total|+-----+-------+|ccc|1||ddd|0|+-----+-------+2rowsinset(0.00sec)


6.ORDER BY

从VT5-J2中的表中,根据ORDER BY 子句的条件对结果进行排序,生成VT6表。

注意:

唯一可使用SELECT中别名的地方;

mysql>SELECT-> a.uid,

    ->count(b.oid)AS total

    ->FROM->table1AS a

    ->LEFTOUTERJOINtable2ASbONa.uid= b.uid

    ->WHERE->a. NAME='mike'->GROUPBY-> a.uid

    ->HAVING->count(b.oid)<2->ORDERBY->totalDESC;+-----+-------+|uid|total|+-----+-------+|ccc|1||ddd|0|+-----+-------+2rowsinset(0.00sec)


7.LIMIT

LIMIT子句从上一步得到的VT6虚拟表中选出从指定位置开始的指定行数据。

注意:

offset和rows的正负带来的影响;

当偏移量很大时效率是很低的,可以这么做:

采用子查询的方式优化,在子查询里先从索引获取到最大id,然后倒序排,再取N行结果集

采用INNER JOIN优化,JOIN子句里也优先从索引获取ID列表,然后直接关联查询获得最终结果

mysql>SELECT-> a.uid,

    ->count(b.oid)AS total

    ->FROM->table1AS a

    ->LEFTJOINtable2ASbONa.uid= b.uid

    ->WHERE->a. NAME='mike'->GROUPBY-> a.uid

    ->HAVING->count(b.oid)<2->ORDERBY->totalDESC->LIMIT1;+-----+-------+|uid|total|+-----+-------+|ccc|1|+-----+-------+1rowinset(0.00sec)


至此SQL的解析之旅就结束了,上图总结一下:


参考书籍:

《MySQL性能调优与架构实践》

《MySQL技术内幕:SQL编程》


尾声:

  嗯,到这里这一次的深入了解之旅就差不多真的结束了,虽然也不是很深入,只是一些东西将其东拼西凑在一起而已,参考了一些以前看过的书籍,大师之笔果然不一样。而且在这过程中也是get到了蛮多东西的,最重要的是更进一步意识到,计算机软件世界的宏大呀~

  另由于本人才疏学浅,其中难免存在纰漏错误之处,若发现劳烦告知修改,感谢~


转自http://www.cnblogs.com/annsshadow/p/5037667.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容