Spark行动算子之countByKey

今天我们来学习一下Spark的一个行动算子countByKey。先去API中看一下：

此算子的作用是计算每一个key的元素个数，并且把结果保存到一个Map中。

实测一下：

import org.apache.spark.{SparkConf, SparkContext}

object testCountByKey {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("test").setMaster("local[*]")
    val sc = new SparkContext(conf)
    val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,1,2,3,4,5,6))
    val map = rdd1.map((_,1)).countByKey()
    println(map)
    sc.stop()
  }
}

输出结果：

补充：
countByKey的源码：思路很简单，就是先把rdd的value都变成1，然后reduceByKey，在通过collect行动算子拉取到driver，最后toMap转换成一个Map类型