数据库--查询优化器

1. 代码分析

1.1 代码入口planner:主入口函数

(1)主入口函数路径: src/backend/optimizer/plan/planner.c
(2)standard_planner——标准的查询优化器入口。standard_planner只是查询优化器的外壳,通过调用subquery_planner完成查询优化
(3)subquery_planner 迭代的子查询优化 ,位置:src/backend/optimizer/plan/planner.c
subquery_planner返回逻辑优化和物理优化结果root(PlannerInfo *)
(4) //物理优化
grouping_planner(root, false, tuple_fraction);
调用
(5)query_planner
query_planner 子查询优化主入口: src/backend/optimizer/plan/planmain.c

(6)pg_rewrite_query
postgresql-9.6.9\src\backend\tcop\postgres.c

2.展示查询树的GUC参数

在调试查询优化源代码的过程中,通常需要不止一次地打印查询树,因为在逻辑优化阶段需要对查询树进行重写,我们可以通过打印查询树的功能来查看查询树重写前和重写后的区别,读者可以在查询重写前和重写后在源代码中增加对应的函数(例如elog_node_display函数),这样能更方便地查看查询重写的内容。例如我们可以在子查询提升函数的前后分别通过elog_node_display函数来打印查询树,这样就能看出子查询提升前和提升后的查询树的内容发生了哪些变化。

增加elog_node_display函数到代码中这种方法在我们尝试对查询优化功能进行修改的时候同样有用,例如现在要在逻辑优化中增加一个新的优化规则,我们可以通过打印查询树更好地规划修改方案。

3.debug模式

配置文件 : /home/xpb/pgdata/postgresql.conf
cd /home/xpb/pgdata
xpb@ubuntu:~/Documents/bin$ ./psql postgres
cd /home/xpb/Documents/postgresql
(1)cd /home/xpb/Documents/bin
(2) ./psql postgres

4.SQL语句的执行计划:

Nested Loop  (cost=16.66..473.91 rows=31 width=122)
   Join Filter: (SubPlan 1)
   ->  Hash Join  (cost=16.66..55.02 rows=31 width=4)
         Hash Cond: (sc.cno = course.cno)
         ->  Seq Scan on sc  (cost=0.00..30.40 rows=2040 width=8)
         ->  Hash  (cost=16.62..16.62 rows=3 width=4)
               ->  Seq Scan on course  (cost=0.00..16.62 rows=3 width=4)
                     Filter: ((cname)::text = 'math'::text)
   ->  Materialize  (cost=0.00..14.88 rows=2 width=122)
         ->  Seq Scan on class  (cost=0.00..14.88 rows=2 width=122)
               Filter: ((gno)::text = '2017'::text)
   SubPlan 1
     ->  Seq Scan on student  (cost=0.00..13.00 rows=1 width=4)
           Filter: (classno = class.classno)
(14 rows)

image.png

参考资料

[1] 高级数据库四:浅谈数据库查询过程(Query Processing)
[2] 高级数据库十五:查询优化器(一)
[3] SQL优化器原理 - 查询优化器综述
[4] PostgreSQL 优化器代码概览 非常好,一定要看
[5] PostgreSQL查询优化器解析 非常好,一定要看
[6] PostgreSQL查询优化简介 非常好,一定要看
[7] PostgreSQL 源码解读(24)- 查询语句#9(查询重写)
[6] 《PostgreSQL技术内幕-查询优化深度探索》节选之《查询树》很好,很有用
[6] PostgreSQL教程
[7] postgresql从入门到菜鸟(一)通过编译方式安装postgresql
[5] 《数据库》查询树优化

从查询语句经词法语法语义分析到查询树

[1] 跟我一起读postgresql源码(二)——Parser(查询分析模块)很好,很有用
调用parse_analyze函数,返回查询树

postgreSQL可视化

[1] Pev:Postgres的可视化工具

postgreSQL配置文件

[1]postgreSQL配置文件 postgresql.conf —— 千月的零基础学习PostgreSQL(2)
[2 PostgreSQL DBA(9) - 执行计划数据结构
[3]Postgresql 配置文件详解

代码

[1] # postgres/postgres
[2] Apache Calcite官方网站
[3] # apache/calcite

Visual Studio配置C/C++-PostgreSQL开发环境

[1]Visual Studio(VS2017)配置C/C++-PostgreSQL(9.6.3)完整开发环境
[2] Visual Studio(VS2017)配置C/C++-PostgreSQL(9.6.5)基础开发环境
[3] VS编译以及调试 PostgreSQL 源码工程

Apache Calcite

[5] Apache Calcite 简介
[6] Apache Calcite官方文档中文版- 概览-2. 教程
[7] Apache Calcite — 入门介绍
[8] 初识Calcite——使用实例
[9] # Apache顶级项目 Calcite使用介绍
Calcite所做的工作就是将各种SQL语句解析成抽象语法树(AST Abstract Syntax Tree),并根据一定的规则或成本对AST的算法与关系进行优化,最后推给各个数据处理引擎进行执行。
[10] # Flink table&Sql中使用Calcite
[11] Apache Kylin查询性能优化
[12] Apache Calcite:Hadoop 中新型大数据查询引擎
[13] Calcite 对 Volcano 优化器优先队列的实现

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,589评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,615评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,933评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,976评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,999评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,775评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,474评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,359评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,854评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,007评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,146评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,826评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,484评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,029评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,153评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,420评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,107评论 2 356

推荐阅读更多精彩内容