Spark DataFrame中rollup和cube使用

我们平时在做报表的时候,经常会有各种分维度的汇总计算,在spark中我们最常用的就是groupBy操作,groupBy就是按照给定的字段名分组,后面接sum、count、avg等聚合操作;在spark中也提供了rollupcube这样的分组函数,接下来本文就以一个实例展示一下这两个函数的作用。
我们先来看个需求:下面的表是某公司最近两年在全国各地的销售额,我们想要知道xiang华北地区的销售情况、北京地区的销售情况等,我们使用两次Groupby操作就能得到结果,也可以使用rollup实现聚合结果

某公式销售额情况.png

  // 加载销售额数据
  val salesDF = spark.read .csv(inputFile)

rollup的使用:

rollup($"area", $"regional", $"year") 会先按照 area、regional、year分组;然后按照area、regional分组、然后再按照area分组,最后进行全表分组。后面接聚合函数,此处使用的是sum

 salesDF.rollup($"area", $"regional", $"year")
.sum("sales")

rollup之后的结果查看:

rollup.png

cube的使用

cube就更厉害了 salesDF.cube($"area", $"regional", $"year") ;cube 会先按照(area、regional、yea)分组;然后是 (area、regional )、(area、year )、(area )、(regional、year )、( regiona )、(year )分组;最后进行全表分组。

    salesDF.cube($"area", $"regional", $"year")  .sum("sales")

cube结果:

cube.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容