sortBy和sortByKey使用举例

首先读取数据

rawData = sc.textFile(u"/user/tq/iris.txt")
rawData.take(5)

结果如下：

1.PNG

然后对某字段记录进行计数

rawData1 = rawData.map(lambda x:x.split(",")).map(lambda x:x[0]).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y)
rawData1.take(5)

结果如下：

2.PNG

使用sortByKey

sortData1= rawData1.map(lambda (x,y):(y,x)).sortByKey(ascending = False)
sortData1.take(10)

结果如下：

3.PNG

使用sortBy

sortData2 = rawData1.sortBy(lambda x:x[1],ascending = False)
sortData2.take(10)

结果如下：

4.PNG