Flink中批处理优化器的作用以及流程调试(一)

以批处理程序中的wordCount为例,调试一下Plan的生成以及对于优化计划OptimizedPlan的转化过程。至于如何进入Execute接口的上述过程将要 放到以后进行说明,直接从生成批处理计划Plan开始:


LocalExecutor类的一个方法

我们可以见到当用户使用env.ecxecute()的时候,进入Localexecutor类生成Plan,Plan p来接收createProgramPlan的返回值,传递的参数仅为jobName,jobName一般是创建这个作业的日期和时间。下面我们就进入这个方法createProargamoPlan中。可以在executionEnvironment类中找到两个名字相同的方法createProgramPlan,这是java函数的重载。通过jobName进入第一个,第一个返回第二个方法的bool值,默认为真,代表重建一个作业的sink执行,即一个新阶段的作业的执行:

ExecutionEnvironment类中的第一个创建方法



同名类下的第二个创建方法

可以看到算子翻译器OperatorTranslation()对批处理程序中的算子进行翻译转换。跳转进入到这个方法中可以发现通过从sink节点开始遍历,将遇到的算子转换成Plan的形式,使用一个translate的方法。translate负责将flink中的算子获取并且注册。如何实现算子的翻译以及注册为Operator类型可以见下面的博客,该博客介绍了从批处理程序生成优化计划的过程:

https://blog.csdn.net/yanghua_kobe/article/details/55224512?locationNum=5&fps=1

对应源代码,生成Plan主是通过下面的这个语句:


生成计划

那么是怎么进入到计划优化,即PanOptimizer class里面的呢?还是通过LocalExecutor中的execute方法生成的,返回类型为jobExecutionResult。关键的两句如下:


生成优化计划以及编译这个计划

通过第一句可以进入到Optimizer类中,这个Optimizer类它接受用户指定的程序计划并创建一个优化计划,其中包含有关如何进行物理执行的准确描述。 它首先将用户程序转换为内部优化程序表示,然后在运输策略和本地策略的不同备选方案之间进行选择。进入到Optimizer类下面后可以看到两个名为compile的方法,返回类

缺省OptimizerPostPass postPasser参数的compile方法

型均为OptimizedPlan。话说flink中很喜欢如下操作,首先当用户未给出另一形参的时候先通过一个方法从第一个参数中得到另一个类型的返回值,在通过return调用重载函数。上图中的OptimizedPostPass得到以后,调用下面的compile方法。


真正的compile Plan的方法

此步骤执行以下操作:

1)它为每个运算符创建一个优化器计划节点

2)它通过通道连接它们

3)它查找有关本地策略和频道类型的提示相应地设置类型和策略

4)它估算数据源的数据量和通过计划传播这些估算值

首先确定dataSink节点,若有多个就通过上述遍历的方式确定一个root节点。之后通过BranchVisitor进行分支定界,估算PlanNode的成本,具体的成本估算方式我之后会给出介绍。首先跳过以上步骤,optimizer包下的costs包可以进行成本估算。内涵默认的成本估算以及根据PlanNode之间的数据传输策略进行估算,选取最优的执行计划作为bestPlan。通过bestPlan的队首节点可以找到sink或者sink节点的集合。根据这个bestPlanRoot进行下面的操作:


使用PlanFinalizer类创建优化计划


PlanFinalizer类通过计算每个PlanNode的代价、权重之后,返回Optimizer类型的结果。

OptimizedPlan主要封装了如下这些属性:

dataSources:SourcePlanNode集合;

dataSinks:SinkPlanNode集合;

allNodes:优化后计划中的所有PlanNode节点集合;

originalProgram:最初未被优化的Plan对象

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,869评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,716评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,223评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,047评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,089评论 6 395
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,839评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,516评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,410评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,920评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,052评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,179评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,868评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,522评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,070评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,186评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,487评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,162评论 2 356

推荐阅读更多精彩内容