一：自定义UDF函数
UDF函数的特点是：多参数/单参数-》单个返回值，并且多个参数是一行当中的数据，不能实现跨行。常见的UDF函数有很多，比如concat，lenth等等，下面举一个自定义的例子。
测试数据准备：
select name,age,attribute
from dw_tmp.mydefineUDF
自定义UDF函数代码实现步骤：
1：自定义类继承UDF
2：至少实现一个evaluate方法，入参和返回值根据需求自己定义
import org.apache.hadoop.hive.ql.exec.UDF;
public class TestUDF extends UDF {
public String evaluate(String param1, int param2){
return param1+String.valueOf(param2);
}
}
接下来测试一下：
add jar #{udf-1.0-jar-test};
CREATE TEMPORARY FUNCTION myconcat as 'com.husor.bigdata.udf.base.TestUDF';
select name,age,myconcat(name,age) as nameAge
from dw_tmp.mydefineUDF;
找一台hive执行机，把jar上传到自己指定的目录，然后进入hive shell，执行以上命令，得出如下结果：
二：自定义UDAF函数
UDAF函数的特点是对多行的字段进行聚合相关操作，一般伴随着group by分组关键字出现，hive自带的UDAF函数有很多，比如AVG，SUM，MAX等，以下是一个自定义的UDAF函数实现：
import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
public class TestUDAF extends UDAF {
public static class MyTestUDAF implements UDAFEvaluator {
private int result;
@Override
public void init() {
result = 0;
}
public boolean iterate(int age) {
result = result + age;
return true;
}
public int terminatePartial() {
return result;
}
public boolean merge(int other) {
result = result + other;
return true;
}
public int terminate() {
return result;
}
}
}
其实这就是一个很简单的sum函数，解释一下如何实现：
1：自定义一个类继承UDAF
2：在类内部创建静态内部类实现UDAFEvaluator
3：init()函数就是初始化用的
4：iterate(入参)，这个函数就分组后，针对组内元素做具体逻辑操作的函数，比如上述例子是累加。
5：terminatePartial()，这个函数相当于combine操作，就是map端的reduce，即局部聚合，这里只要将局部聚合的值返回就好。
6：merge()，这个函数是将多个局部聚合的值进行合并
7：terminate()返回最终的结果
测试一下UDAF函数效果：
add jar #{udf-1.0-jar-test};
CREATE TEMPORARY FUNCTION my_sum as 'com.husor.bigdata.udf.base.TestUDAF';
select my_sum(age) as sumAge
from dw_tmp.mydefineUDF;
三：自定义UDTF函数
UDTF函数的特点是可以输出多行数据，结合lateral view创建虚拟表使用。举个例子，之前表的attribute字段用@分行，用|分字段，现在要用一个UDTF函数将其解析成多行两个字段的数据，并且使用lateral view做成虚拟表使用。参考一下自定义的UDTF代码:
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import java.util.ArrayList;
public class TestUDTF extends GenericUDTF {
// 1.此方法返回UDTF的返回行的信息（返回个数，类型）
@Override
public StructObjectInspector initialize(ObjectInspector[] argOIs)
throws UDFArgumentException {
if (argOIs.length != 1) {
throw new UDFArgumentLengthException("argOIs takes only one argument");
}
if (argOIs[0].getCategory() != ObjectInspector.Category.PRIMITIVE) {
throw new UDFArgumentException("argOIs takes string as a parameter");
}
ArrayList<String> fieldNames = new ArrayList<String>();
ArrayList<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();
fieldNames.add("hobby");
fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
fieldNames.add("address");
fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,fieldOIs);
}
@Override
public void process(Object[] objects) throws HiveException {
if (objects.length != 1) {
throw new UDFArgumentLengthException( "objects args num is not correct.");
}
if (objects[0] == null) {
throw new UDFArgumentException("objects args has null value");
}
String hobbyAddress = objects[0].toString();
String[] line = hobbyAddress.split("@");
for (String s : line){
String[] field = s.split("\\|");
forward(field);
}
}
@Override
public void close() throws HiveException {
}
}
解释一下如何实现：
1：首先继承UDTF函数，并实现其方法。
2：initialize函数，初始化使用，用来定义返回行的字段个数和类型。
3：process函数，真正做解析时调用的函数，使用forward返回一个数组，即一行数据。
4：close函数，收尾函数，结束以后清洗操作。
测试一下，看一下效果：
add jar #{udf-1.0-jar-test};
CREATE TEMPORARY FUNCTION myUDTF as 'com.husor.bigdata.udf.base.TestUDTF';
select name
,age
,t2.hobby as hobby
,t2.address as address
from dw_tmp.mydefineUDF t1 lateral view myUDTF(attribute) t2 as hobby,address
最后结果显示的爱好和地址没有对上，之前在构造数据的时候没构造好，不过不影响理解。
