240 发简信
sddyljsx
IP属地：北京
  • spark sql 2.3 源码解读 - whole stage codegen (8)

    whole stage codegen 是spark 2.0 以后引入的新特性，所以在最后单独把这一块拿出来讲一下。 相关背景可以看spark官...

    0.7 11534 0 6
  • spark sql 2.3 源码解读 - Execute (7)

    终于到了最后一步执行了： 最关键的两个函数便是 doPrepare和 doExecute了。 还是以上一章的sql语句为例，其最终生成的spar...

    0.1 6948 0 1
  • spark sql 2.3 源码解读 - Preparations (6)

    上一章生成的Physical Plan 还需要经过prepareForExecution这一步，做执行前的一些准备工作，代码如下： 看到上面的 ...

    4612 0 1
  • spark sql 2.3 源码解读 - Planner (5)

    Optimizer得到的是最终的 Logical Plan，Planner 将Logical Plan 转化为 Physical Plan。 p...

    4394 0 0
  • spark sql 2.3 源码解读 - Optimizer (4)

    得到 Resolved Logical Plan 后，将进入优化阶段。后续执行逻辑如下： 下面看一下Optimizer： 看到Optimizer...

    4417 0 0
  • spark sql 2.3 源码解读 - Analyzer (3.2)

    根据上一节所讲，Analyzer最关键的代码便是rule的实现了。 先整体看一下rule的集合： 下面的rule会根据不同的SessionSta...

    4659 0 0
  • spark sql 2.3 源码解读 - Analyzer (3.1)

    本章将介绍analyzer 结合 catalog 进行绑定,生成 Resolved Logical Plan. 上一步得到的 Unresolve...

    0.1 3919 0 1
  • spark sql 2.3 源码解读 - antlr4 && SparkSqlParser (2.3)

    ​ 接着上一节，继续讲。还是以 SELECT A.B FROM A 为例。 ​ 查看AstBuilder逻辑，遍历访问，最终会访问到...

    0.1 4434 0 1
  • spark sql 2.3 源码解读 - antlr4 && SparkSqlParser (2.2)

    ​ 接着上一节，我们看一下antlr4。 ​ antlr可以根据输入自动生成语法树并可视化的显示出来的开源语法分析器。ANTLR—A...

    0.1 5790 0 1
个人介绍
always a beginner