MapReduce

MapReduce

一种并行编程模型，用于大规模数据处理任务

设计理念

计算向数据靠拢 减小网络中数据传输开销

框架

Master(运行JobTracker)/Slave(运行TaskTracker)架构

模型核心

Map函数和Reduce函数


MapReduce体系结构

MapReduce工作流程

核心思想：“分而治之”


应用程序执行过程

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • MapReduce/Yarn详解
    MapReduce框架结构## MapReduce是一个用于大规模数据处理的分布式计算模型MapReduce模型主...
    Bloo_m阅读 3,799评论 0赞 4
  • [老实李]MapReduce学习笔记
    一、MapReduce应用场景 Hadoop的Mapreduce是一个使用简单的框架，基于它写出来的程序可以运行在...
    老实李阅读 1,440评论 0赞 9
  • MapReduce的工作原理
    我们知道MapReduce诞生与搜索邻域，主要解决的是海量数据处理扩展性差的问题。 MapReduce是一种编程模...
    Tim在路上阅读 33,791评论 0赞 14
  • mapreduce框架详解
    参考：hadoop 学习笔记：mapreduce框架详解 [toc] 总结 Mapreduce是一个计算框架，既然...
    小小少年Boy阅读 1,168评论 0赞 4
  • mapreduce框架详解
    参考：hadoop 学习笔记：mapreduce框架详解 [toc] 总结 Mapreduce是一个计算框架，既然...
    小小少年Boy阅读 885评论 0赞 12