RDD序列化
闭包检查
从计算的角度，**算子以外的代码都是在Driver端执行，算子里面的代码都是在Executor端执行。**那么在scala函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭包的效果，如果使用的算子外的数据无法序列化，就意味着无法传值给Executor端执行，从而发生错误，所以需要在执行任务计算前，检测闭包内对象是否可以进行序列化，这个操作我们称之为闭包检测。
Kryo序列化框架
Java的序列化能够序列化任何的类。单比较重（字节多），序列化后，对象的提交也比较大。Spark2.0开始支持Kryo序列化机制。Kryo速度是Serializable的10倍。当RDD子shuffle数据时，简单数据类型、数组、字符串类型已经在Spark内部使用Kryo来序列化。
object SerTest {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
.setMaster("local[*]")
.setAppName("serTest")
.set("spark.serializer","org.apache.spark.serializer.KryoSerializer")
val sc = new SparkContext(conf)
val rdd1 = sc.makeRDD(List("hello spark","hello scala"))
val person:Person = new Person("hel")
val rdd2 = person.getMatchedRDD1(rdd1)
rdd2.collect().foreach(println)
}
}
class Person(str:String) extends Serializable {
def isMatch(s:String)={
s.contains(str)
}
def getMatchedRDD1(rdd:RDD[String]): RDD[String] ={
rdd.filter(isMatch)
}
}
RDD依赖关系
图片.png
1.血缘关系
图中的rdd之间存在血缘关系
rdd.toDebugString
2.依赖关系
每个相邻rdd之间存在依赖关系
rdd.dependencies
1)rdd窄依赖
class OneToOneDependency[T](rdd: RDD[T]) extends NarrowDependency[T](rdd)
2)rdd宽依赖
class ShuffleDependency[K: ClassTag, V: ClassTag, C: ClassTag](
@transient private val _rdd: RDD[_ <: Product2[K, V]],
val partitioner: Partitioner,
val serializer: Serializer = SparkEnv.get.serializer,
val keyOrdering: Option[Ordering[K]] = None,
val aggregator: Option[Aggregator[K, V, C]] = None,
val mapSideCombine: Boolean = false)
extends Dependency[Product2[K, V]]
rdd阶段划分&&rdd任务划分
url
rdd缓存和检查点
rdd.cache
rdd.persist(StorageLevel.缓存方式)
sc.checkpointDir(path)
rdd.checkpoint
注：以上操作要执行行动算子后才进行存储。因为只有行动算子被执行，driver端才会拿到executor端计算的数据。
图片.png
缓存和检查的区别
1） Cache 缓存只是将数据保存起来，不切断血缘依赖。 Checkpoint 检查点切断血缘依赖。
2） Cache 缓存的数据通常存储在磁盘、内存等地方，可靠性低。 Checkpoint 的数据通常存
储在 HDFS 等容错、高可用的文件系统，可靠性高。
3）建议对 checkpoint()的 RDD 使用 Cache 缓存，这样 checkpoint 的 job 只需从 Cache 缓存
中读取数据即可，否则需要再从头计算一次 RDD。
自定义分区（类似mr的分区）
1.继承Partitioner抽象类
2.实现其中方法
方法1：numPartitions：Int,返回分区数量即可
方法2：getPartition(key：Any): Boolean 写具体分区逻辑。
文件读写
1.text文件
2.sequence文件：Hadoop用来存储二进制形式的key-value而设计的一种平面文件（FlatFile）。
3.object对象文件：对象文件是将对象序列化后保存的文件，采用Java的序列化机制。
