1.RDD
优点：编译时类型安全；编译时就能检查出类型错误；面向对象的编程风格；直接通过类名点的方式来操作数据
缺点：序列化和反序列化的性能开销；无论是集群间的通信，还是IO操作都需要对对象的结构和数据进行序列化和反序列化；GC的性能开销，频繁的创建和销毁对象，势必会增加GC
2.DataFrame
DataFrame引入了schema和off-heap
schema：RDD每一行的数据结构都是一样的，这个结构就存储在schema中，spark通过schema就能够读懂数据，因此在通信和IO时就只需要序列化和反序列化数据，而结构的部分就可以省略了。
off-heap：意味着JVM堆以外的内存，这些内存直接受操作系统管理（而不是JVM）。spark能够以二进制的形式序列化数据到off-heap中，当要操作数据时，就直接操作off-heap内存。由于spark理解schema，所以知道该如何操作。
off-heap就像底盘，schema就像地图，spark有地图又有底盘，就可以自己说了算了，不再受JVM的限制，也就不再受GC的困扰了。
通过schema和off-heap，DataFrame解决了RDD的缺点，却丢了RDD的有点，DataFrame不是类型安全的，API也不是面向对象风格的。
3.Dataset
Dataset结合了RDD和DataFrame的优点，并带来一个新的概念Encoder。
当序列化数据时，Encoder产生字节码与off-heap进行交互，能够达到按需访问数据的效果，而不用反序列化整个对象。spark还没有提供自定义Encoder的API，未来会加入。
4.RDD和Dataset
Dataset以Catalyst逻辑执行计划表示，并且数据以编码的二进制形式被存储，不需要反序列化就可以执行sorting、shuffle等操作。
Dataset创立需要一个显式的Encoder，把对象序列化为二进制，可以把对象的schema映射为sparkSQL类型，然而RDD依赖于运行时反射机制。
Dataset比RDD性能要好很多。
5.DataFrame和Dataset
Dataset可以认为是DataFrame的一个特例，主要区别是Dataset每一个record存储的是一个强类型而不是一个Row，因此具有如下三个特点：
· Dataset可以在编译时检查类型
· Dataset是面向对象的编程接口
· 后面版本DataFrame会继承DataSet，DataFrame是面向Spark SQL的接口。
DataFrame和Dataset可以相互转化，df.as[ElementType]这样可以把DataFrame转化为Dataset，ds.toDF()这样可以把Dataset转化为DataFrame.
简述sparkSQL中RDD、DataFrame、DataSet三者的区别与联系
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- RDD知识点总结 五大特性，宽窄依赖等详见连接：https://www.jianshu.com/p/592b985...
- RDD: 1、RDD一般和spark mlib同时使用 2、RDD不支持sparksql操作 DataFrame:...
- RDD、DataFrame和DataSet的区别 - 简书http://www.jianshu.com/p/c01...
- RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同：Data...
