1.业务场景
最新有一个新需求，需要对Nginx的log日志进行分析，日志每天以打包压缩上传HDFS上，采用可以用Hive直接解析，但是所有的日志信息都在一个字段下面，而且Nginx日志采用空格键作为分隔符，有一些字段内部缺也包含空格，没办法切分，因此想到办法采用正则匹配进行解析出Nginx日志的各个信息
2.问题解决
首先找后端要来Nginx日志配置信息，配置信息可以参考https://www.cnblogs.com/anenyang/p/15480673.html
这里截取日志中一条的部分 198.56.194.106 - 38590 [28/Jul/2020:00:05:03 +0800] "GET /article-1032.html HTTP/1.1"
解决办法1：采用PyHive读取数据，然后正则匹配转为pandas 的DataFrame,随后用Spark/CSV写入Hive.。
缺点：1.Python处理数据性能较差，日志已经积累的几年的，每天解压后约1-2G/几百万条，每天分开处理也需要挺久，
2. PySpark在Dolphin上有会报错，无法用于后期调度
3.Python 环境依赖只能在单节点执行
解决办法2：使用Java正则解析，再将间隔符号换为不常用字符用户切割，再按照此逻辑创建HiveUDF，使用Hive自定义函数来解析
缺点：好像，没什么缺点，需要会写Hive的UDF
测试代码：
public class testRegex {
public static void main(String[] args) {
//需要匹配的日志信息
String log="198.56.194.106 - 38590 [28/Jul/2020:00:05:03 +0800] \"GET /article-1032.html HTTP/1.1\" ";
//获取匹配
String ip="(?<ip>(\\d+.\\d+.\\d+.\\d+)|(-))";//匹配198.56.194.106 或者-
String empty="(?<empty>-)"; //匹配abc
String remoteport="(?<remoteport>(\\d+)|(-))";//匹配38590 或者-
String timelocal="(?<timelocal>(\\[.*\\])|(-))";//匹配[]包含的内容 或者-
String request="(?<request>(\".*?\")|(-))"; ////匹配""包含的内容 或者-
//匹配用空格 \s 连一起
String matcher_remote_addr = ip+"\\s"+empty+"\\s"+remoteport+"\\s"+timelocal+"\\s"+request+"\\s";
//编译
Pattern pattern_nginx = Pattern.compile(matcher_remote_addr);
//匹配
Matcher Matcher_nginx = pattern_nginx.matcher(log);
//创界结果为一个字符串或者为一个集合
String result="";
try {
Matcher_nginx.find();
System.out.println(Matcher_nginx.group(0).trim());
String nginx_remote_addr=Matcher_nginx.group("ip").trim();//获取ip的匹配去掉前后空格
String nginx_empty=Matcher_nginx.group("empty").trim();
String nginx_remote_port=Matcher_nginx.group("remoteport").trim();
String nginx_time_local=Matcher_nginx.group("timelocal").trim();
String nginx_request=Matcher_nginx.group("request").trim().replace("\"","");//获得匹配去掉双引号
result=nginx_remote_addr+"￥"+nginx_empty+"￥"+nginx_remote_port+"￥"+nginx_time_local+"￥"+nginx_request;
}catch (Exception e) {
e.printStackTrace();
}
System.out.println(result);
}
}
打印输出：
198.56.194.106 - 38590 [28/Jul/2020:00:05:03 +0800] "GET /article-1032.html HTTP/1.1"
198.56.194.106￥-￥38590￥[28/Jul/2020:00:05:03 +0800]￥GET /article-1032.html HTTP/1.1
可以看到分隔符按照￥切分开了。
3.编写HiveUDF
参考官网文档
https://cwiki.apache.org/confluence/display/Hive/HivePlugins
导入Maven依赖，注意和Hive版本保持一致
<dependencies>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>3.1.2</version>
</dependency>
</dependencies>
public class MyNginx extends GenericUDF {
/**
* 判断传进来的参数的类型和长度
* 约定返回的数据类型
* @param arguments //就是传进来的参数，不带参数值，只判断类型和个数
* @return
* @throws UDFArgumentException
*/
@Override
public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {
//检查传参个数
if (arguments.length !=1) {
throw new UDFArgumentLengthException("please give me only one arg");
}
//检查参数类型和具体返回值类型
if (!arguments[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE)){
throw new UDFArgumentTypeException(1, "i need primitive type arg");
}
return PrimitiveObjectInspectorFactory.javaStringObjectInspector;
}
/**
* 解决具体逻辑的
* @param arguments
* @return
* @throws HiveException
*/
@Override
public Object evaluate(DeferredObject[] arguments) throws HiveException {
Object o = arguments[0].get();
if(o==null){
return 0;
}
String s = o.toString();
String result = ParseNginx(s);
return result;
}
@Override
// 用于获取解释的字符串。这个没有用，如果当前函数跑MR回打印如下信息
public String getDisplayString(String[] children) {
return "";
}
public static String ParseNginx(String nginxLog){
//获取匹配
String ip="(?<ip>(\\d+.\\d+.\\d+.\\d+)|(-))";//匹配198.56.194.106 或者-
String empty="(?<empty>-)"; //匹配abc
String remoteport="(?<remoteport>(\\d+)|(-))";//匹配38590 或者-
String timelocal="(?<timelocal>(\\[.*\\])|(-))";//匹配[]包含的内容 或者-
String request="(?<request>(\".*?\")|(-))"; ////匹配""包含的内容 或者-
//匹配用空格连一起
String matcher_remote_addr = ip+"\\s"+empty+"\\s"+remoteport+"\\s"+timelocal+"\\s"+request+"\\s";
//编译
Pattern pattern_nginx = Pattern.compile(matcher_remote_addr);
//匹配
Matcher Matcher_nginx = pattern_nginx.matcher(log);
//创界结果为一个字符串或者为一个集合
String result="";
try {
Matcher_nginx.find();
// empty.find();
// remote_port.find();
System.out.println(Matcher_nginx.group(0).trim());
String nginx_remote_addr=Matcher_nginx.group("ip").trim();//获取ip的匹配去掉前后空格
String nginx_empty=Matcher_nginx.group("empty").trim();
String nginx_remote_port=Matcher_nginx.group("remoteport").trim();
String nginx_time_local=Matcher_nginx.group("timelocal").trim();
String nginx_request=Matcher_nginx.group("request").trim().replace("\"","");//获得匹配去掉双引号
result=nginx_remote_addr+"￥"+nginx_empty+"￥"+nginx_remote_port+"￥"+nginx_time_local+"￥"+nginx_request;
} catch (Exception e) {
return null;
}
return result;
}
}
之后打包上传HDFS，在Hive创建临时/永久函数不在累述。
参考链接：
https://blog.csdn.net/hjzyhm/article/details/125950178
https://www.baidu.com/link?url=IaElTc84QYCjSRoeXACTQW_dKXk-3xmMqFoSpOWeohDi8ta78tlvJwnm-DQ34iNEgOhF8-c72CBgOxM-ZUspMoHL97XArNHRlYvKphp2VH7&wd=&eqid=c0cc504100026aeb00000003633bfbe8
