根据Kafka subscribe 和 assign接口使用以及rebalancing说明[https://dzone.com/articles...

我们以数据源自kafka为例，进行spark作业调优的分析 1 资源评估 网络能力： 评估下使用的节点数、网络带宽，与所要处理的数据量，在网络能...

spark streaming的应用可能需要7*24小时不间断的运行,因此需要一定的容错能力。在系统出现问题后，spark streaming ...

在面向流处理的分布式计算中，经常会有这种需求，希望需要处理的某个数据集能够不随着流式数据的流逝而消失。 以spark streaming为例，就...

本文整理下hdp中开启了kerberos后在storm中访问的kafka所遇到的问题。测试使用的环境为： hdp2.6.0.3 storm 1....

本文以codis集群为例，介绍redis集群的性能分析方法，其他的redis 集群版本比如redis cluster分析方法也类似, 希望对大家...

一 Spark中的一致性 1 Spark RDD的基本容错语义 RDD是不可变的，确定的，可以被重新计算的分布式数据集。每个RDD都记录了已经确...