OReilly.Learning.Spark 学习笔记
Spark里所有操作都是对RDD来的。分为两种 1. Transformation 就是产生新的RDD，或者改变之前的RDD
2. Action， 就是比如说reduce， count等等 返回一个值或者把result存入hdfs里。
然后Spark是 非常lazy的，transformation指令是不会执行的until看到action指令。这样其实是有优化的。
这里有一个Transformation的visualization!
FlatMap与Map的区别：
这里是Cross Product between two RDDs, 也是Transformation
为了方便以后再对RDD进行操作，我们可以把可能会被操作的RDD 缓存。
Spark Driver 负责与一大堆分布的workers 沟通。这些worker叫Executor。
Driver就是main function run的地方。 Driver负责create SparkContext, RDD, 执行transformation and Actions. 当我们开启shell的时候，就是一个driver prgram。
Driver运行的时候，把user program转换成task。Driver要负责create a logical DAG graph of operations 来optimization.
Driver要负责安排schedule of task to executors. 当Executor开始干活的时候，他们要先注册themselves 和driver。每个Executor 都是一个Process，可以干活和存储RDD data。
启动程序：spark-submit
Driver和Executor的启动靠cluster
如果程序里有引用library的话，有dependency。那么要保证在runtime的时候这些dependency都在！
