MySQL8.0 Hash Join

在MySQL 8.0.18之前,表的join方式只有嵌套循环(nested loop)这一种方式,8.0.18推出了hash join的方式以替代嵌套循环。
使hash join方式生效的前提是用于join的字段上没有索引
且在8.0.18中,还需要一个对等的条件(table1.a=table2.a),才能满足hash join
在8.0.20中,取消了对等条件的约束,可以全面支持non-equi-join,Semijoin,Antijoin,Left outer join/Right outer join。
hash join的大致原理为:选择占用空间较小的表t1(不一定是行数)作为驱动表,计算其join字段的hash值,在内存中build一个hash table,将t1的join字段的hash值存放至hash table。然后对被驱动表t2的join字段计算hash值,并与内存中的hash table进行查找匹配。

准备环境:
MySQL 5.7.19
MySQL 8.0.20

数据准备:

tables

通过sysbench,创建两张表sbtest1,sbtest2,分别灌入20w,25w数据,并且删除了k字段的索引。

执行计划查看:
分别执行:

explain select * from sbtest1 x join sbtest2 y on x.k = y.k;

MySQL 8.0.20:
(8.0.18中需使用explain format=tree来查看)


explain8

MySQL 5.7.19:


explain5.7

通过执行计划,可以看出,在8.0.20中,非索引的join操作已经优化为hash join。

性能提升测试:
分别执行:

explain select * from sbtest1 x join sbtest2 y on x.k = y.k;

MySQL 8.0.20:


execute8

MySQL 5.7.19:


execute5.7

通过执行耗时,可以看出,通过hash join的方式比nested loop有了明显的优化提升,26min48s -> 0.61s。

PS:
1.在MySQL 8.0.18中,可以在optimizer_switch 中指定hash_join=on/off用以开关hash join,该方式在MySQL8.0.19版本后失效。
2.hash join通过参数join_buffer_size来控制内存中的使用大小,超出join_buffer_size的设置会在磁盘上创建临时文件来处理

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。