纵观整个mapreduce过程会发现存在许多的排序和文件合并操作。 为什么要排序，主要原因有： 1、key的存在combiner操作，排序之后相同的key放到一块显然方便做合...
IP属地：浙江
-
spark 4种 shuffle机制与mapreduce shuffle机制对比 -
大数据数仓建设性能优化方案
大数据数仓的性能优化主要围绕以下四个方面： 调度优化 模型优化 同步任务优化 计算任务优化下面将对着四方面的优化方法进行具体阐述。 调度优化 在数据仓库建设的过程中，我们不可...
-
聊聊Linux 五种IO模型上一篇《聊聊同步、异步、阻塞与非阻塞》[https://www.jianshu.com/p/aed6067eeac9]已经通俗的讲解了，要理解同步、异步、阻塞与非阻塞重要的两...
-
Sublime插件：C语言篇如何安装插件详见：https://packagecontrol.io/installation Alignment：选中并按ctrl+alt+a就可以使其按照等号对其。按等号...
-
Flink总结Flink总结 Flink简介 Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎，是当前实时处理领域的一颗炙手可热的新星 flink技...
