第二十二节、“order by”是怎么工作的?

order by 有两种排序方式:全字段排序、rowid排序。

1、全字段排序

CREATE TABLE `t` (

  `id` int(11) NOT NULL,

  `city` varchar(16) NOT NULL,

  `name` varchar(16) NOT NULL,

  `age` int(11) NOT NULL,

  `addr` varchar(128) DEFAULT NULL,

  PRIMARY KEY (`id`),

  KEY `city` (`city`)

) ENGINE=InnoDB;

select city,name,age from t where city='杭州' order by name limit 1000 ;

以上语句在city上添加索引后,执行以上的查询语句的执行过程如下:

1、初始化sort_buffer,确定放入name、city、age这三个字段;

2、从索引city找到第一个满足city=‘杭州’ 条件的主键id;

3、到主键id索引取出整行,取name、city、age三个字段的值,存入sort_buffer中;

4、从索引city取下一个记录的主键id;

5、重复步骤3、4直到city的值不满足查询条件为止;

6、对sort_buffer中的数据按照字段name做快速排序;

7、按照排序结果取前1000行返回给客户端。


全字段排序

图中,“按name排序”这个动作,可能在内存中完成,也可能需要使用外部排序,这取决于排序所需要的内存和参数sort_buffer_size.

sort_buffer_size,就是MySQL为排序开辟的内存(sort_buffer)的大小。如果要排序的数据量小于sort_buffer_size,排序就在内存中完成。但如果排序数据量太大,内存放不下,则不得不利用磁盘临时文件辅助排序。

可以用以下的方法来确定是否使用了临时排序:

/* 打开 optimizer_trace,只对本线程有效 */

SET optimizer_trace='enabled=on';

/* @a 保存 Innodb_rows_read 的初始值 */

select VARIABLE_VALUE into @a from  performance_schema.session_status where variable_name = 'Innodb_rows_read';

/* 执行语句 */

select city, name,age from t where city='杭州' order by name limit 1000;

/* 查看 OPTIMIZER_TRACE 输出 */

SELECT * FROM `information_schema`.`OPTIMIZER_TRACE`\G

/* @b 保存 Innodb_rows_read 的当前值 */

select VARIABLE_VALUE into @b from performance_schema.session_status where variable_name = 'Innodb_rows_read';

/* 计算 Innodb_rows_read 差值 */

select @b-@a;


这个方法是通过查看OPTIMIZER_TRACE的结果来确认的,从number_of_tmp_files中看到是否使用了临时文件。number_of_tmp_files表示的是,排序过程中使用的临时文件数。

内存放不下时,就需要使用外部排序,外部排序一般使用归并排序算法。上图的结果中可以简单理解:MySQL将需要排序的数据分成12份,每一份单独排序后存在这些临时文件中。然后把这12个有序文件再合并成一个有序的大文件。

如果sort_buffer_size超过了需要排序的数据量的大小,number_of_tmp_files就是0,表示排序可以直接在内存中完成。否则就需要放在临时文件中排序。sort_buffer_size越小,需要分成的份数越多,number_of_tmp_files的值就越大。



rowid排序

在全字段排序算法里面,只对原表的数据读了一遍,剩下的操作都是在sort_buffer和临时文件中执行的。但这个算法有一个问题,就是如果查询要返回的字段很多的话,那么sort_buffer里面要放的字段数太多,这样内存里能够同时放下的行数很少,要分成很多个临时文件,排序的性能会很差。

如果单行很大,这个方法效率不够好,那么如果MySQL认为排序的单行长度太大会怎么做尼?

SET max_length_for_sort_data = 16;

max_length_for_sort_data,是MySQL中专门控制用于排序的行数据的长度的一个参数。它的意思是,如果单行的长度超过这个值,MySQL就认为单行太大,要换一个算法。

city、name、age这三个字段的定义总长度是36,把max_length_for_sort_data设置为16,我们再来看看计算过程有什么改变。

新的算法放入sort_buffer的字段,只有要排序的列(即name字段)和主键id。但这时,排序的结果就因为少了city和age字段的值,不能直接返回了,整个执行流程就变成如下所示的样子:

1、初始化sort_buffer,确定放入两个字段,即name和id;

2、从索引city找到第一个满足city=‘杭州’ 条件的主键id;

3、到主键id索引取出整行,取name、id这两个字段,存入sort_buffer中;

4、从索引city取下一个记录的主键id;

5、重复步骤3、4直到不满足city=‘杭州’ 条件为止;

6、对sort_buffer中的数据按照字段name进行排序;

7、遍历排序结果,取前1000行,并按照id的值回到原表中取出city、name和age三个字段返回给客户端。


rowid排序

对比全字段排序流程图,rowid排序多访问了一次表t的主键索引,就是步骤7.

需要说明的是,最后的“结果集”是一个逻辑概念,实际上MySQL服务端从排序后的sort_buffer中依次取出id,然后到原表查到city、name和age这三个字段的结果,不需要在服务端再耗费内存存储结果,是直接返回给客户端的。


全字段排序与rowid排序的区别

如果mysql的排序内存内存太小,会影响排序效率,才会采用rowid排序算法,这样排序过程中一次可以排序更多行,但是需要再回到原表去取数据;

如果mysql内存足够大,会优先选择全字段排序,把需要的字段都放到sort_buffer中,这样排序后就会直接从内存里面返回查询结果了,不用再回到原表去取数据。

对于InnoDB表来说,rowid排序会要求回表多造成磁盘读,因此不会被优先选择。


是否所有的order by都需要排序操作?

并非所有的order by语句,都需要排序操作的,mysql之所以需要生成临时表,并且在临时表上做排序操作,其原因是原来的数据都是无序的。

如果能够保证从city这个索引上取出来的行,天然就是按照name递增排序的话,是可以不用再排序。

alter table t add index city_user_age(city, name, age);

select city, name,age from t where city='杭州' order by name limit 1000;

以上的查询在city, name, age字段上建立了联合索引,所以在查询只有city, name, age字段的查询语句中,会使用到覆盖索引,因此这条语句是不需要做排序了的。

覆盖索引是指,索引上的信息足够满足查询的请求,不需要再回到主键索引上去取数据。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,723评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,003评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,512评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,825评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,874评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,841评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,812评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,582评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,033评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,309评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,450评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,158评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,789评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,409评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,609评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,440评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,357评论 2 352