概述

除了要避免在开发过程中对一份完全相同的数据创建多个RDD之外，在对不同的数据执行算子操作时还要尽可能的复用一个RDD。比如说，有一个RDD的数据格式是key-value类型的，另一个是单value类型的，这两个RDD的value数据是完全一样的。那么，我们可以只使用key-value类型的那个RDD,因为其中已经包含了另一个的数据。对于类似这种多个RDD的数据有重叠或者包含的情况，我们应该尽量复用一个RDD，这样可以尽可能的减少RDD的数量，从而尽可能减少算子执行的次数。

//错误的做法：

 //有一个<Long,String>格式的RDD,即rdd1。                                                                                    //接着由于业务需要，对rdd1执行了一个map操作，创建了一个rdd2，而rdd2中的数据仅仅是rdd1中的value值而已，也就是说，rdd2是rdd1的子集。                     JavaPairRDD<Long,String>rdd1=...                                         JavaRDD<String>rdd2=rdd1.map(...)

// 分别对rdd1和rdd2执行了不同的算子操作。                                                                                    rdd1.reduceByKey(...)                                                                                                                         rdd2.map(...)

//正确的做法

//上面这个case中，其实rdd1和rdd2的区别无非就是数据格式不同而已，rdd2的数据完全就是rdd1的子集而已，却创建了两个rdd,并对两个rdd都执行了一次算子操作。                                               //此时会因为对rdd1执行map算子来创建rdd2，而多执行一次算子操作，进而增加性能开销。

//其实在这种情况下完全可以复用同一个RDD。                                                                                //我们可以使用rdd1，既做reduceByKey操作，也做map操作。                                                        //在进行第二个map操作时，只使用每个数据的tuple._2，也就是rdd1中的value值，即可。JavaPairRDD<Long,String>rdd1=...                                                                     rdd1.reduceByKey(...)                                                                                       rdd1.map(tuple._2...)

//第二种方式相较于第一种方式而言，很明显减少了一次rdd2的计算开销。                                      //但是到这里为止，优化还没有结束，对rdd1我们还是执行了两次算子操作，rdd1实际上还是会被计算两次。                                                                                                                                           //因此还需要配合“原则三：对多次使用的RDD进行持久化”进行使用，才能保证一个RDD被多次使用时只被计算一次。