马上码

一、什么是hive Hive是由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表并提供类...

马上码

概述 当你在Spark代码中多次对一个RDD做了算子操作后，恭喜，你已经实现Spark作业第一步的优化了，也就是尽可能复用RDD。此时就该在这个基础之上，进行第二步优化了，也...

马上码

概述 除了要避免在开发过程中对一份完全相同的数据创建多个RDD之外，在对不同的数据执行算子操作时还要尽可能的复用一个RDD。比如说，有一个RDD的数据格式是key-value...

马上码

Spark的性能调优实际上是由很多部分组成，不是调节几个参数就可以立竿见影的，我们需要根据不同的业务情况以及数据情况，对Spark作业进行综合性的分析，然后进行多方面的调节和...