MapTask、Shuffle、ReduceTask工作机制

MapReduce整个工作流程:

image.png
image.png

Shuffle阶段

image.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • MapReduce整个工作流程:
    __豆约翰__阅读 703评论 0 1
  • Key Words:MapReduce, Job, Task, Resouce Manager, Node Man...
    Grits阅读 8,248评论 2 11
  • 1、 性能调优 1.1、 分配更多资源 1.1.1、分配哪些资源? Executor的数量 每个Executor所...
    Frank_8942阅读 4,689评论 2 36
  • spark-submit的时候如何引入外部jar包 在通过spark-submit提交任务时,可以通过添加配置参数...
    博弈史密斯阅读 2,844评论 1 14
  • 什么是家?有房子就叫有家吗? 家大体是由人和房子组成,有房子的地方未必是真正意义上的家,而真正意义上的家一定...
    昌言昌语阅读 429评论 0 1