1. 代码分析
1.1 代码入口planner:主入口函数
(1)主入口函数路径: src/backend/optimizer/plan/planner.c
(2)standard_planner——标准的查询优化器入口。standard_planner只是查询优化器的外壳,通过调用subquery_planner完成查询优化
(3)subquery_planner 迭代的子查询优化 ,位置:src/backend/optimizer/plan/planner.c
subquery_planner返回逻辑优化和物理优化结果root(PlannerInfo *)
(4) //物理优化
grouping_planner(root, false, tuple_fraction);
调用
(5)query_planner
query_planner 子查询优化主入口: src/backend/optimizer/plan/planmain.c
(6)pg_rewrite_query
postgresql-9.6.9\src\backend\tcop\postgres.c
2.展示查询树的GUC参数
在调试查询优化源代码的过程中,通常需要不止一次地打印查询树,因为在逻辑优化阶段需要对查询树进行重写,我们可以通过打印查询树的功能来查看查询树重写前和重写后的区别,读者可以在查询重写前和重写后在源代码中增加对应的函数(例如elog_node_display函数),这样能更方便地查看查询重写的内容。例如我们可以在子查询提升函数的前后分别通过elog_node_display函数来打印查询树,这样就能看出子查询提升前和提升后的查询树的内容发生了哪些变化。
增加elog_node_display函数到代码中这种方法在我们尝试对查询优化功能进行修改的时候同样有用,例如现在要在逻辑优化中增加一个新的优化规则,我们可以通过打印查询树更好地规划修改方案。
3.debug模式
配置文件 : /home/xpb/pgdata/postgresql.conf
cd /home/xpb/pgdata
xpb@ubuntu:~/Documents/bin$ ./psql postgres
cd /home/xpb/Documents/postgresql
(1)cd /home/xpb/Documents/bin
(2) ./psql postgres
4.SQL语句的执行计划:
Nested Loop (cost=16.66..473.91 rows=31 width=122)
Join Filter: (SubPlan 1)
-> Hash Join (cost=16.66..55.02 rows=31 width=4)
Hash Cond: (sc.cno = course.cno)
-> Seq Scan on sc (cost=0.00..30.40 rows=2040 width=8)
-> Hash (cost=16.62..16.62 rows=3 width=4)
-> Seq Scan on course (cost=0.00..16.62 rows=3 width=4)
Filter: ((cname)::text = 'math'::text)
-> Materialize (cost=0.00..14.88 rows=2 width=122)
-> Seq Scan on class (cost=0.00..14.88 rows=2 width=122)
Filter: ((gno)::text = '2017'::text)
SubPlan 1
-> Seq Scan on student (cost=0.00..13.00 rows=1 width=4)
Filter: (classno = class.classno)
(14 rows)
参考资料
[1] 高级数据库四:浅谈数据库查询过程(Query Processing)
[2] 高级数据库十五:查询优化器(一)
[3] SQL优化器原理 - 查询优化器综述
[4] PostgreSQL 优化器代码概览 非常好,一定要看
[5] PostgreSQL查询优化器解析 非常好,一定要看
[6] PostgreSQL查询优化简介 非常好,一定要看
[7] PostgreSQL 源码解读(24)- 查询语句#9(查询重写)
[6] 《PostgreSQL技术内幕-查询优化深度探索》节选之《查询树》很好,很有用
[6] PostgreSQL教程
[7] postgresql从入门到菜鸟(一)通过编译方式安装postgresql
[5] 《数据库》查询树优化
从查询语句经词法语法语义分析到查询树
[1] 跟我一起读postgresql源码(二)——Parser(查询分析模块)很好,很有用
调用parse_analyze函数,返回查询树
postgreSQL可视化
postgreSQL配置文件
[1]postgreSQL配置文件 postgresql.conf —— 千月的零基础学习PostgreSQL(2)
[2 PostgreSQL DBA(9) - 执行计划数据结构
[3]Postgresql 配置文件详解
代码
[1] # postgres/postgres
[2] Apache Calcite官方网站
[3] # apache/calcite
Visual Studio配置C/C++-PostgreSQL开发环境
[1]Visual Studio(VS2017)配置C/C++-PostgreSQL(9.6.3)完整开发环境
[2] Visual Studio(VS2017)配置C/C++-PostgreSQL(9.6.5)基础开发环境
[3] VS编译以及调试 PostgreSQL 源码工程
Apache Calcite
[5] Apache Calcite 简介
[6] Apache Calcite官方文档中文版- 概览-2. 教程
[7] Apache Calcite — 入门介绍
[8] 初识Calcite——使用实例
[9] # Apache顶级项目 Calcite使用介绍
Calcite所做的工作就是将各种SQL语句解析成抽象语法树(AST Abstract Syntax Tree),并根据一定的规则或成本对AST的算法与关系进行优化,最后推给各个数据处理引擎进行执行。
[10] # Flink table&Sql中使用Calcite
[11] Apache Kylin查询性能优化
[12] Apache Calcite:Hadoop 中新型大数据查询引擎
[13] Calcite 对 Volcano 优化器优先队列的实现