3-SparkContext的runJob方法

1 何时执行runJob方法
SparkContext提供了runJob方法提交作业,比如foreach(println)这种action操作,触发job的提交,SparkContext#runJob来提交的,当然最终是通过DAGScheduler组件来实现job的提交

2 runJob方法流程图
runJob方法流程如下图所示


3-SparkContext的runJOb方法.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容