抽象理解:
master维护worker,task两个队列,表示空闲的worker,等待执行的task。
对task进行抽象比较重要,输入数据位置+nReducer+用户代码逻辑,即可确定一个task。
worker可能随时被分配给master,所以master主要分成两个线程:
背景线程用来接收分配给它的worker,把worker插入队列。
调度线程分别从worker、task队列中取出一个worker,task,让worker执行task。执行成功,把worker插入worker队列;如果失败,把task插入task队列。
lab1 mapreduce
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
相关阅读更多精彩内容
- hello,我就以做lab1的流程为目录,记录一下我做lab1的时候收获的和容易出错的地方。 1.阅读MapRed...