HIVE 处理非等值连接

HIVE 处理非等值连接(join.... on .... like ....)

有一个需求是判断一个表中的一个字符串字段是否是另外一个表中一个字符串字段的子串;

mysql实现方式:

SELECT *
FROM table1
RIGHT JOIN table2
ON table2.x LIKE CONCAT('%' , table2.y , '%')
用以上代码放到HIVE中执行,发现报错,原因是HIVE不支持非等值连接。

可以用以下方式来处理HIVE不支持非等值连接:

SELECT *
FROM table1
RIGHT JOIN table2
ON(TRUE)
WHERE LOCATE(table1.y,table2.x)

备注:1. mysql 中字符串的连接不能用加号(+)实现,可以用 CONCAT() 函数实现。

使用方法:CONCAT(str1 , str2 , str3 , .......):将str1、str2、str3....等子串连接在一起。

       2. 使用 LOCATE(substr , str) 函数,如果包含,则返回 >0 的数,否则返回0。

以上HIVE可能会报错:Error: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.lang.Integer cannot be cast to java.lang.Boolean。

改成如下即可运行。

SELECT *
FROM table1
RIGHT JOIN table2
ON(TRUE)
WHERE LOCATE(table1.y,table2.x)>0
问题解决。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。