lab1 mapreduce

抽象理解:

master维护worker,task两个队列,表示空闲的worker,等待执行的task。

对task进行抽象比较重要,输入数据位置+nReducer+用户代码逻辑,即可确定一个task。



worker可能随时被分配给master,所以master主要分成两个线程:

背景线程用来接收分配给它的worker,把worker插入队列。

调度线程分别从worker、task队列中取出一个worker,task,让worker执行task。执行成功,把worker插入worker队列;如果失败,把task插入task队列。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • YarnYarn产生背景:Yarn直接来自于MR1.0MR1.0 问题:采用的是master slave结构,ma...
    时待吾阅读 6,172评论 2 23
  • hello,我就以做lab1的流程为目录,记录一下我做lab1的时候收获的和容易出错的地方。 1.阅读MapRed...
    trecool阅读 12,066评论 2 10
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 137,093评论 19 139
  • 此刻我在房间带小宝睡觉,儿子在外面冲奶奶大吼大叫。我这心被他喊得揪得紧紧的。 我讨厌大吼大叫,无论什么情况什么理由...
    花生果果阅读 228评论 1 0
  • 20年前的今天,大概也是深夜,万籁俱寂,一声刺耳的啼哭划破天迹,“我”便来到了这个世界。 一岁:尚在襁褓,不知冬夏...
    间籽阅读 294评论 0 1

友情链接更多精彩内容