写在前面:关于mysql的文章是来自于极客时间mysql45讲的读书笔记。
我总是听到这样的道理:学习一个东西要先框架再细节,尤其是针对一个复杂的技术框架,否则只会陷入细节中无法自拔,这是事倍功半的学习方法,对此我深以为然,所以本篇文章从mysql的整体框架讲起。
mysql的整体框架大概分为:连接器、语法分析器、优化器、执行器、存储引擎。如图1所示。(这里说一句,基本上所有优秀的框架都是分层的,各个层的任务是明确的,是有边界的,这样一方面职责单一符合单一原则利于协同,另一方面利于解耦扩展,这个是自己设计框架可以借鉴的)
各个部分的功能说明如下:
连接器:接收客户端的连接,用户权限的管理。
通过 SHOW PROCESSLIST 可以查看有多少连接连接到了该数据库,如果连接长时间(通过wait_timeout 控制)没有操作(默认超过8小时连接器会断开该连接),command 列显示为 sleep(空闲连接),time代表该连接已经连接了多长时间,同一个用户可以同时有多个连接,可以用kill query +线程 id(表示终止这个线程正在执行的语句,这个语句的应用场景一般是查询时间太长或者被阻塞了然后想终止操作,包括更新等语句)来结束请求,但是并不能保证一定为会结束请求(这个后面会讲为什么);
另外在连接器也会判断用户名是否拥有操作权限。权限的判断在用户连接进来就做好了,以后的用户权限都依赖于此时的权限,此时修改用户的权限是无效的。
我们需要注意的是,mysql在执行过程中临时使用的内存(比如排序)是放在连接对象里面的,这里的内存只有等到连接断开才会释放,所以一个连接使用时间越长,这个对象可能占用内存就越大,会造成OOM,然后被系统杀掉。解决的方法有两个:1.定期断开长连接,使用的时候再重新连;2.在5.7及以上版本可以使用mysql_reset_connection来重置连接,让连接回复到初始化的状态,它不需要重新连接以及权限的验证。
语法分析器:它主要的作用就是对sql的解析以及验证sql 是否正确。
mysql 要知道你要干什么,它通过解析关键字 比如说 select 就知道你要做查询操作,把关键字后面的字符 比如 from 后面的字符识别成 数据库表,然后再判断你写的sql 是否符合mysql 的语法规则。这个过程就类似于开发中的需求文档。
这里要说明一点的是在这个阶段还会对数据库和字段是否存在进行校验,这里并没有打开表,只是获取了表的结构,而打开表是获取数据。
mysql 自带了一个information_schema 数据库,这个数据库存储了关于数据库的元数据,包括数据库信息,表信息,字段信息,所以说从这个数据库中就可以查询到某个表是否有某个字段。
优化器:这里主要是对sql语句的优化以及索引的选择。
经过语法分析器,mysql 知道你要干什么了,那我怎么干才是最好,最有效率的呢?优化器 这里就是会根据你要干什么,然后进行包括转换成等价sql,选择join表的顺序,选择它认为的最好的索引等操作,生成一个方案,这个方案就是执行计划,这个过程就类似于编程中的概要设计,事情就这么干。
执行器:检查是否有操作表的权限,并调用存储引擎提供的接口执行语句。
执行器在执行sql 的时候首先会判断是否有操作该表的权限,如果有就打开这个表,然后根据执行计划选择相应的接口执行语句(这些接口是存储引擎根据表结构已经提供好的)。这里想开发中的具体的人开始干事了。
这里有个小知识点:rows_examined。这个字段我们从慢日志查询中可以看到,它代表执行器调用了存储引擎多少次。调用一次存储引擎,在存储引擎内部可能扫描了多次,所以呢存储引擎内部的扫描次数一般要大于rows_examined。
存储引擎:负责数据的存储和提取。
存储引擎有很多,比如说innodb,merory 等,它就是一个插件,而且是作用在表级别的,后面的话我们主要围绕innodb来讲。
小结:本篇文章主要描述了mysql 的基本框架,包括连接器、语法分析器、优化器、执行器、存储引擎。后面我会对各个部分的细节做详细说明。谢谢!