log4j2利用SocketAppender将日志写入rsyslog
摘要：利用elk(elasticsearch/logstash/kibana)做些简单的分布式日志查看还是比较高效方便的。这周将线上项目的日志升级到log4j2，但是比较坑的是log4j2的SyslogAppender无法自定义PatternLayout。本文将介绍一下如何利用SocketAppender将数据写入rsyslog。
背景
上文scala接入log4j2中我们介绍了log4j2的一些基本配置，本以为已经完全ready了，没想到上线之后，在kibana中并不能查到相关日志。
查看/var/log/syslog可以看到我们的日志已经正常写入了，但是跟运维排查过后，发现我们的日志是需要写入我们自定的模块LOCAL4
问题解决
一度怀疑是log4j2的propertie配置文件支持有问题，于是我将properties配置文件切换到xml配置文件。于是我们看到，日志是可以正常打入到LOCAL4模块的，但是看了pattern是不符合我们设置的预期。无奈，继续查找如何修改pattern。
google查到Log4j2- Syslog appender and PatternLayout一文，发现这是log4j2的bug，但是里面提到可以利用SocketAppender来模拟消息，给rsyslog发送消息。
SocketAppender
按其中答案来设置发现消息并未如愿发到Local4模块（其实他是将INFO日志发送到local1，而我的需求是发送到local4)。
可以看到我们需要模拟一个消息头部，syslog的具体协议可参考[1]，但是这个头部具体该如何模拟呢？
我们可以看到stackoverflow中的答案，Facility和Severity跟头部code的对应关系。
Syslog: Facility | Severity
Numerical Code: 1 6
Bin: 0 0 0 0 1 | 1 1 0
Dec: 8 + 6 = 14
Numerical Code和Facility/Severity的对应关系请参考[2]
猜想意思是Facility code需要左移三位，猜想是不是正确的呢？翻下GitHub源码。
private static int toPriority(final Facility aFacility, final Severity aSeverity) {
return (aFacility.getCode() << 3) + aSeverity.getCode();
}
证实我们的猜想是正确的。
具体的消息是拼接成什么样的呢？我们继续翻下源码。
public String toSerializable(final LogEvent event) {
final StringBuilder buf = getStringBuilder();
buf.append('<');
buf.append(Priority.getPriority(facility, event.getLevel()));
buf.append('>');
addDate(event.getTimeMillis(), buf);
buf.append(Chars.SPACE);
buf.append(localHostname);
buf.append(Chars.SPACE);
String message = event.getMessage().getFormattedMessage();
if (null != escapeNewLine) {
message = NEWLINE_PATTERN.matcher(message).replaceAll(escapeNewLine);
}
buf.append(message);
if (includeNewLine) {
buf.append('\n');
}
return buf.toString();
}
结合我们对syslog的协议的理解，我们需要<Code>这样的一个头部消息。
其中Code为Facility和Severity拼接成的，在我们的场景中，我们的
Facility=20和Severity=6，所以我们的code=166
后续
正当我以为全部问题都解决了，发现最终打到我们Local4模块的主机名还是不对的，我们写入elasticsearch的字段需要的是真正的hostname，而不是localhost.
通过Google发现如何获取client名字一文
查阅文档我们发现log4j2配置文件支持Property，参考[3]。
而Property又支持环境变量，参考[4]。
完整配置
<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="debug" dev="err">
<Appenders>
<Console name="STDOUT">
<PatternLayout pattern="%d{DEFAULT} %tid [%tn] %p %c{1}: %m%n"/>
</Console>
<Syslog name="RFC5424" format="RFC5424" host="localhost" port="514"
protocol="UDP" appName="recommend-metric-log:"
facility="LOCAL4" enterpriseNumber="18060" newLine="true"
messageId="Audit" mdcId="mdc">
<!--<PatternLayout pattern="${hostName} recommend-metric-log: %m%n"/>-->
<LoggerFields>
<KeyValuePair key="thread" value="%t"/>
<KeyValuePair key="priority" value="%p"/>
<KeyValuePair key="category" value="%c"/>
<KeyValuePair key="exception" value="%ex"/>
<KeyValuePair key="message" value="%m"/>
</LoggerFields>
</Syslog>
<Socket name="SYSLOG" host="${hostName}" port="514" protocol="UDP">
<PatternLayout pattern="<166>recommend-metric-log: %m%n"/>
</Socket>
</Appenders>
<Loggers>
<Root level="info">
<AppenderRef ref="STDOUT"/>
</Root>
<Logger name="com.dxy.data.utils.SyslogPrinter$">
<Property name="hostName">$${HOSTNAME}</Property>
<Appender-ref ref="SYSLOG"/>
</Logger>
</Loggers>
</Configuration>
总结
我们可以看到rsyslog就是通过一个udp请求，将日志写入rsyslog。
最后，elk虽然能很好的收集展示分布式日志，但是还是无法做到查看日志上下文的
