[OLAP]Spark数据多维分析的任务

打造轻量级OLAP(一):Spark计算Cube - Treant - 博客园
http://www.cnblogs.com/en-heng/p/5382224.html
打造轻量级OLAP(一):Spark计算Cube
有一个数据多维分析的任务:

日志的周UV;
APP的收集量及标注量,TOP 20 APP(周UV),TOP 20 APP标注分类(周UV);
手机机型的收集量及标注量,TOP 20 机型(周UV),TOP 20 手机厂商(周UV);
初始的解决方案:Spark读取数据日志,然后根据分析需求逐一进行map、distinct、reduceByKey得到分析结果。但是,这种方案存在着非常大的缺点——重复扫描数据源多次。

  1. Pig

Pig提供cube关键字做OLAP,将dimension分为了两类:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容