如何使用spark实现topN的获取

方法1：
按照key对数据进行聚合(groupByKey)
将value转换为数组，利用sortBy或者sortWith进行排序
val rddData1 = sparkSession.parallelize(Array(("sivela", 15),("sivela", 18),("sivela", 16),("Alice", 15),("Bob", 18)))
val rddGroup = rddData1.groupByKey()
val rddSort = rddGroup.map(line =>{
(line._1, line.2.toList.sortWith(.toInt > _.toInt).take(1))
})
rddSort.foreach(print)
缺点：数据量太大，会OOM
方法2：
取出所有的key
对key进行迭代，每次取出一个key利用spark的排序算子进行排序
方法3：
自定义分区器，按照key进行分区，使不同的key进到不同的分区
对每个分区运用spark的排序算子进行排序