hive sql 中lateral view explode/json_tuple的使用

先贴一下hive中get_json_object和json_tuple两个函数的区别:

Hive中提供了两种针对json数据格式解析的函数,即get_json_object(…)与json_tuple(…),理论不多说,直接上效果示意图:

假设存在如下json数据对象,若使用hive环境可这么设置:

set hivevar:msg={

“message”:”2015/12/08 09:14:4”,

“client”: “10.108.24.253”,

“server”: “passport.suning.com”,

“request”: “POST /ids/needVerifyCode HTTP/1.1”,

“server”: “passport.sing.co”,

“version”:”1”,

“timestamp”:”2015-12-08T01:14:43.273Z”,

“type”:”B2C”,”center”:”JSZC”,

“system”:”WAF”,”clientip”:”192.168.61.4”,

“host”:”wafprdweb03”,

“path”:”/usr/local/logs/waf.error.log”,

“redis”:”192.168.24.46”}

get_json_object函数

当使用get_json_object函数时,则可以这么用:

select get_json_object(‘hivevar:msg′,′hivevar:msg′,′.server’) from test;

返回:

passport.sing.com

其中,get_json_object函数第一个参数填写json对象变量,第二个参数使用$表示json变量标识,然后用 . 或 [] 读取对象或数组;

json_tuple函数

当使用json_tuple对象时,可以显著提高效率,一次获取多个对象并且可以被组合使用,写法如下:

select a.* from test lateral view json_tuple(‘${hivevar:msg}’,’server’,’host’) a as f1,f2;

返回:

passport.sing.com wafprdweb03

其中,需要使用lateral view 视图方法来写,不需要加$标示符读取对象,获取的f1,f2对象可用于array()或map()等函数使用

以下是正文:

我有一个表tab1,表有两个字段sub_id, sub_sku_info,表中有一条数据如下:

(注:第二个字段比较长,但这确实是一个字符串,请不要被换行欺骗):

sub_id : 101

sub_sku_info :

[{"skuId":"1017570","num":"2","price":5.8,"jd_price":23.9,"sale_price":5.8},{"skuId":"1329431","num":"1","price":38.38,"jd_price":59,"sale_price":36.84},{"skuId":"1381473","num":"1","price":8.5,"jd_price":39.8,"sale_price":8.5}]

让我们逐步来拆解这条数据:

1、将sub_sku_info中的“列表”拆成三行:

select sub_id, sku_infofrom tab1

lateral view explode(split(substr(sub_sku_info, 2, length(sub_sku_info) - 2), '},')) aa as sku_info;


2、补全每一行记录,为第三步拆分做准备:

select t.sub_id, case when substr(t.sku_info, length(t.sku_info), 1) = '}' then t.sku_info else concat(t.sku_info, '}') end as sku_infofrom (select sub_id, sku_infofrom tab1

lateral view explode(split(substr(sub_sku_info, 2, length(sub_sku_info) - 2), '},')) aa as sku_info) t;


3、将每一行的“字典”拆分成对应字段:

select m.sub_id, skuid, num, price, jd_price, sale_price

from(

select t.sub_id, case when substr(t.sku_info, length(t.sku_info), 1) = '}' then t.sku_info else concat(t.sku_info, '}') end as sku_info

from (

select sub_id, sku_info

from tab1

lateral view explode(split(substr(sub_sku_info, 2, length(sub_sku_info) - 2), '},')) aa as sku_info) t) m

lateral view json_tuple(m.sku_info, 'skuId', 'num', 'price', 'jd_price', 'sale_price') aa as skuid, num, price, jd_price, sale_price;


©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • pyspark.sql模块 模块上下文 Spark SQL和DataFrames的重要类: pyspark.sql...
    mpro阅读 13,216评论 0 13
  • 一.HIVE的基础知识 Hive复合数据类型:map– 创建map:map、str_to_map– 取key、va...
    文子轩阅读 4,296评论 0 4
  • 不知道从什么时候开始不敢有期望了 所有的期望都成了奢望。 以前想象着能够有一天踏着我的单车开始我的环游梦,于是开始...
    oldwhale阅读 1,486评论 2 2
  • 好久没见好久没有打过一个电话, 我的朋友你们现在还好吗? 听说有人已成家,有人还浪迹天涯; 我们用青春诉说着成长的...
    南通何小白阅读 2,563评论 0 0
  • 最近在使用ES6,所以手动实现了一个简单的ES6 Promise对象来玩玩(如果有错误的地方,希望大家能够不吝赐教...
    LitCigar阅读 4,208评论 1 2

友情链接更多精彩内容