MapReduce

MapReduce 特点

1. 易于编程
2. 良好的扩展性
3. 高容错性：
   某一结点挂了，会自动转移到其它结点计算
4. 海量数据的离线处理

MapReduce 不擅长的场景

1. 实时计算
2. 流式处理
3. DAG计算(A作业执行完执行B作业，B作业执行完执行C作业)

MR的局限，Spark的产生背景.PNG

MapReduce原理详解
需要补充的是 shuffle 中的排序到底干什么的？
首先要先明确 reducer 的功能，其实 reducer 的工作就是将多个 Mapper 的同一个 key 的数据进行汇总，那么在 shuffle 中 mapper 的输出经过 partition（对key hash后再以reduce task数量取模） 后按照键的顺序排好序有利于：
1.利用分区所在Mapper进行排序，Mapper越多,并行度越高,处理速度也快
2.有利于Mapper压缩合并数据,减少网络层传输
3.基于排序的数据，进行Shuffle时效率更高
4.Reduce基于排序数据合并更高效