丨程序之道丨

腾讯分布式数据仓库(Tencent distributed Data Warehouse, 简称TDW)基于开源软件Hadoop和Hive进行构建，并且根据公司数据量大、计算...

loukey_j

纵观整个mapreduce过程会发现存在许多的排序和文件合并操作。 为什么要排序，主要原因有： 1、key的存在combiner操作，排序之后相同的key放到一块显然方便做合...

jsbintask

面试题 如何保证消息的顺序性？ 消息中间件各种面试题：消息中间件面试题：消息丢失怎么办？消息中间件面试题：消息队列的优缺点，区别消息中间件面试题：消息中间件的高可用消息中间件...

小小少年Boy

MapReduce过程详解及其性能优化 [toc] 转载：MapReduce过程详解及其性能优化 总结 详情 从JVM的角度看Map和Reduce： 1. Map阶段包括 ...

小小少年Boy

转载：MapReduce工作机制 第一部分： 运行流程 当你在MapReduce程序中调用了Job实例的Submit()或者waitForCompletion()方法，该程序...

小小少年Boy

参考：hadoop 学习笔记：mapreduce框架详解 [toc] 总结 Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），ma...