传送门
hadoop入门系列--hive基础
hadoop入门系列--hive的三种集合数据类型array、map、struct以及自定义分隔符示例
hadoop入门系列--hive中array(或map集合类型)的行转多列LATERAL VIEW explode用法
传送门
前言
在做hive相关练习时，遇到这个看不懂。lateral view explode(category) t_catetory as category_name
- 理解：
- category可以是hive的集合数据类型，如array（[1030,1031,1032,1033,1190] ）、map（ 数学：80，语文：89，英语：95）
- t_catetory as category_name,想要通过as给一个别名（反映在结果的列名中，方便查看）
一、explode()
- explode()可以接受一个数组（或者一个map）作为输入，并将数组元素（或map）作为单独的输出。
二·、lateral view
- lateral view的意义是配合explode,一个语句生成把单行数据拆解成多行后的数据结果集。
- lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。
示例数据：
//故使用得到上述结果
select A,B,C from table LATERAL VIEW explode(B) table1 as B
练习：
11.4.3 统计出视频观看数最高的 20 个视频的所属类别以及类别包含
Top20 视频的个数
思路：
- 先找到观看数最高的 20 个视频所属条目的所有信息，降序排列
- 把这 20 条信息中的 category 分裂出来(列转行)
- 最后查询视频分类名称和该分类下有多少个 Top20 的视频
最终代码：
select
category_name as category,
count(t2.videoId) as hot_with_views //t2.videoId，调用t2表的videoId数据
from (
select
videoId,
category_name
from (
select
*
from
youtube_orc
order by
views
desc limit
20) t1 lateral view explode(category) t_catetory as category_name) t2 //t1、t2:相当与给这个表重命名（方便使用）
//1）explode()接受一个数组（或者一个map）作为输入，并将数组元素（或map）作为单独的输出。
// 2）lateral view的意义是配合explode,一个语句生成把单行数据拆解成多行后的数据结果集。
group by //group by xxx 根据xxx分组
category_name
order by //order by xxx asc(升序，默认是升序。降序用desc)
hot_with_views
desc;
个人的一些解释说明！！！
- 一、最终结果的类比
类别1: 7
类别2: 3
- 二、t1、t2:相当与给这个表重命名（方便使用）
- 三、1）explode()接受一个数组（或者一个map）作为输入，并将数组元素（或map）作为单独的输出。
2）lateral view的意义是配合explode,一个语句生成把单行数据拆解成多行后的数据结果集。
3）为什么列转行？ 因为当前表结构为：一个视频对应一个或多个类别。所以如果要group by类别，需要先将类别进行列转行(展开)，然后再进行count即可。- 四、
group by xxx 根据xxx分组
补充：group by 必须配合聚合函数来用，分组之后可以计数（COUNT）,求和（SUM）,求平均数（AVG）等。- 五、
order by xxx asc(升序，默认是升序。降序用desc)- 六、
as 是别名。反映在结果的列名中
