Hive UDF创建永久函数

官网截图

1.UDF是什么？

有时候hive提供的函数功能满足不了业务需要，就需要我们自己来写UDF函数来辅助完成，下面用一个简单的例子说明过程，以及注意事项。
UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成mapreduce程序后，执行java方法，类似于像Mapreduce执行过程中加入一个插件，方便扩展. UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF .
Hive可以允许用户编写自己定义的函数UDF，来在查询中使用

2.UDF类型

Hive中有3种UDF：
UDF：操作单个数据行，产生单个数据行；
UDAF：操作多个数据行，产生一个数据行。
UDTF：操作一个数据行，产生多个数据行一个表作为输出。

3.如何构建UDF

用户构建的UDF使用基本过程如下：

第一步：继承UDF或者UDAF或者UDTF，实现特定的方法。
第二步：将写好的类打包为jar。如CorrectResolution.jar。
第三步：进入到Hive客户端，利用add jar /home/hadoop/CorrectResolution.jar注册该jar文件
第四步：为该类起一个别名，create temporary function correct_resolution as 'correct_resolution.CorrectResolution';这里注意UDF只是为这个Hive会话临时定义的。若要永久定义，参考如下代码：
第五步：在select中使用correct_resolution();

4.UDF实战记录

4.1需求

日志上报的手机分辨率正常下是大*小，例如 1280*768。但是上传的日志中会存在颠倒的情况，如 768*1280，在日志清洗时需要修正为1280*768，保证所有分辨率格式为：大*小。

4.2编写CorrectResolution.java文件

package correct_resolution;
 
import org.apache.hadoop.hive.ql.exec.UDF;
 
public class CorrectResolution extends UDF {
    public String evaluate(String resolution) {
        try {
            String[] arrReso = resolution.split("\\*");
            int intReso0 = Integer.parseInt(arrReso[0]);
            int intReso1 = Integer.parseInt(arrReso[1]);
            return intReso0 < intReso1 ? arrReso[1]+"*"+arrReso[0] : resolution;
        } catch (Exception e) {
            return resolution;
        }
    }
}

4.3打包生成CorrectResolution.jar

Mac安装inteliJ，java8, maven。在preference设置maven好路径，选择你的jdk版本。讲maven/bin添加到path中。
编辑pom.xml文件，添加build配置如下。

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-jar-plugin</artifactId>
            <configuration>
                <archive>
                    <manifest>
                        <addClasspath>true</addClasspath>
                        <mainClass>com.xx.growth.CorrectResolution</mainClass> <!--这儿设置你的main class路径-->
                    </manifest>
                </archive>
            </configuration>
        </plugin>
    </plugins>
</build>

用maven打包生成jar包

mvn compile
mvn package
//会在target下面生成jar
java -jar target/hello-1.0-SNAPSHOT.jar

4.4上传jar到hdfs目录中
将当前目录下的.jar上传到hdfs的/usr/xx/xxx/udf/目录下。

hadoop fs -put   ./CorrectResolution.jar  /usr/xx/xxx/udf/

4.5在hive命令行中添加该函数

hive> create function growth.correct_resolution as 'correct_resolution.CorrectResolution' using JAR "hdfs://kingkong/usr/xx/xxx/udf/CorrectResolution.jar";
converting to local hdfs://kingkong/usr/xx/xxx/udf/CorrectResolution.jar
Added [/tmp/xx-xx-xx-xx-xx_resources/CorrectResolution.jar] to class path
Added resources: [hdfs://kingkong/usr/xx/xxx/udf/CorrectResolution.jar]
OK
Time taken: 0.058 seconds
hive> select growth.correct_resolution("768*1280"), 'xxx' as t;
OK
1280*768    xxx

那一串xx-xx-xx-xx其实是jar在hdfs中的location中。

hive> list jars;
/tmp/511023ea-xx-xx-xx-xx/CorrectResolution.jar

添加完成完成之后，可以用show function查看。

hive> show functions;
OK
!
!=
%
greatest
hash
hex
...
...
histogram_numeric
growth.correct_resolution

最后编辑于：2019.04.28 21:25:45