1. RDD编程
初始化
val conf = new SparkConf().setAppName(appName).setMaster(master)
new SparkContext(conf)
RDD可以由Hadoop文件系统(hdfs://)、本地文件、Amazon S3(s3a://)等创建或者使用sc.parallelize()直接存放内存，例如scala的driver程序的collection中。
val distFile = sc.textFile("data.txt")
SparkContext.textFile可以读入表达式或目录, 但SparkContext.wholeTextFiles读入目录会针对每个文件返回 (filename, content)
val data = Array(1, 2, 3, 4, 5)
val distData = sc.parallelize(data)
常用算子：
Transformation
lazy执行，生成新的RDD
- map
- flatmap
对每个输入元素生成多个输出元素
输出是一个包含各个返回值序列的迭代器可访问的所有元素的 RDD - filter
返回一个由能够符合通过传给 filter() 的函数的条件的元素组成的 RDD - sample(withRe placement, fra ction, [seed])
对 RDD 采样，以及是否替换 - distinct
distinct() 操作的开销很大，因为它需要将所有数据通过网络进行 混洗(shuffle)，以确保每个元素都只有一份 - union(other RDD)
- intersection(other RDD)
shuffle 开销大 - subtract(other RDD)
返回一个由只存在于第一个 RDD 中而不存在于第二个 RDD 中的所有元素组成的 RDD，shuffle开销大 - cartesian(other RDD)
笛卡尔积 - join(other RDD) 仅适用于pairRDD
Action
| reduce(func) | 返回一个由func函数的逻辑聚集后形成的 RDD |
| collect() | 返回dataset的元素到driver|
| count() | 返回dataset元素个数 |
| first() | 返回dataset第一个元素 (similar to take(1)). |
| take(n) | 返回dataset前n个元素 |
| saveAsTextFile(path) | 本地或hdfs存储dataset |
| countByKey() | 仅适合pairRDDs of type (K, V) |
| foreach(func) | 对dataset中每个元素执行func，通常用于更新Accumulator 或者和外部存储交互|
持久化
共享变量
broadcast
累加器
2. Spark SQL
支持hive查询
import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate()
// For implicit conversions like converting RDDs to DataFrames
import spark.implicits._
spark.sql(string sql command)返回dataframe
常见问题
- Hadoop与Spark的区别
- shuffle阶段的过程详细介绍一下
- Spark基于图计算的优势
- Spark作业运行机制以及Spark各组件运行机制
- MapReduce中map和reduce各自负责什么内容，两个阶段如何衔接
- scala中的各种算子有使用过吗？说一下map函数、reduceByKey函数的机制
- 有些过海量数据处理的MapReduce脚本吗？（答：没写过，然后让我想想如何使用MR对大量文本数据进行清洗）
