2018-04-03

写hql过程中遇到count(distinct)问题,之后通过max(1)解决

代码如下

'''

SELECT

  day,

  COUNT(1) AS devices_count

FROM

  (

    SELECT

      UPPER(device_id) AS device_id,

      dt AS day,

      MAX(1)

    FROM

      ks_device.device_new_extend_active_base_std_dt

    WHERE

      (dt BETWEEN '{start_day:%Y-%m-%d}' AND '{end_day:%Y-%m-%d}')

    GROUP BY

      UPPER(device_id),

      dt

  ) AS meow

GROUP BY

  day

'''

关于hive大数据倾斜的总结

漫谈千亿级数据优化实践

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Hive性能优化 1.概述继续《那些年使用Hive踩过的坑》一文中的剩余部分,本篇博客赘述了在工作中总结Hive的...
    Albert陈凯阅读 1,551评论 0 8
  • 前言 移动互联网技术的快速发展,移动终端的广泛普及,催生了大数据技术。今天,无论是个人的日常生活,还是企业的业务发...
    泡面办公室阅读 2,832评论 0 3
  • 论文:On the use of deep learning for blind image quality as...
    池鱼_ed29阅读 1,017评论 0 1
  • 时下,对于上班一族来说,思维导图成为工作中划分任务必不可少的工具。但是,手机上的思维导图App如何,下面几款App...
    爱吃爱花爱生活的UX人阅读 7,539评论 2 28
  • 心烦意乱的,也没有单子,有毛病的客户,真把自己当上帝了,姐不在乎
    幸运星新阅读 219评论 0 0