hive与sql的语句与HDF学习

数据去重(group by)

利用group by进行去重
fruit_table如下:

shop fruit price
1 苹果 5
1 香蕉 3
1 梨子 4
2 芒果 10
2 香蕉 5
2 苹果 4
3 梨子 5
3 芒果 8

现在对fruit_table中的水果进行去重查询,得到这个表中一共有那些水果:
select fruit from fruit_table group by fruit
得到:

fruit
苹果
香蕉
梨子
芒果

注意:select后面的关键字,不能是不在group by 后面的关键字
也是就是说,select fruit, price from fruit_table group by fruit这个语句会报错,因为price不是group by后面的。

collect_list,collect_set

对于上面的group by语句,如果我们除了想知道fruit_table这个表里面有哪些水果之外,还想知道对于一个水果,所有出现的价格是多少,而且想把相同的水果的价格放在一起。
这个时候我们就需要将collect_set或者collect_list与group by进行连用了。

concat_ws

lateral view explode

(待补)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Hive中行列转换 - 菠萝大数据梦工厂(Free World) - 博客频道 - CSDN.NET http:...
    葡萄喃喃呓语阅读 9,469评论 0 1
  • 早上读卢梭的《忏悔录》,里面提到他小时候读书的经历,对于如何引导孩子阅读,有很大帮助,故在此记录下来。 读书兴趣的...
    鱼小哆阅读 5,476评论 19 27
  • 这些年来,与家人一般电话时间都不会长,10分钟内基本解决。唯独与外婆的电话,每次都舍不得挂断。 刚在地铁上还在想,...
    EmilyHu晚珮阅读 2,405评论 0 0
  • 话说五一,我们的朋友圈都被一款叫“丧茶”的茶饮品给刷屏了!万万没想到,前一秒还在窃喜终于在3、4个小时排队后喝到了...
    末巷见雨阅读 4,388评论 0 1
  • 首席值班,遇一咨询复议程序的大爷。大爷65岁,因故意损坏他人财产被治安拘留5天。用大爷的话说,他是心里“委屈”,来...
    阿里123阅读 669评论 0 0