本文描述如何在虚拟机上安装和配置Fluentd, Elasticsearch, kibana.
Fluentd
$ curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh
This shell script registers a new rpm repository at /etc/yum.repos.d/td.repo and installs the td-agent rpm package.
sudo systemctl start td-agent.service
sudo systemctl status td-agent.service
Configuration file path:
/etc/td-agent/td-agent.conf
Output path by default:
/var/log/td-agent/td-agent.log
Test
Send message to fluentd:
$ curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test
Check Fluentd log:
$ tail -5f /var/log/td-agent/td-agent.log
2019-04-18 02:51:54 -0400 [info]: #0 starting fluentd worker pid=4211 ppid=4206 worker=0
2019-04-18 02:51:54 -0400 [info]: #0 [input_debug_agent] listening dRuby uri="druby://127.0.0.1:24230" object="Fluent::Engine" worker=0
2019-04-18 02:51:54 -0400 [info]: #0 [input_forward] listening port port=24224 bind="0.0.0.0"
2019-04-18 02:51:54 -0400 [info]: #0 fluentd worker is now running worker=0
2019-04-18 02:56:04.812413980 -0400 debug.test: {"json":"message"}
下面我们来写一个测试的例子:
先给出两个Fluentd的配置, 第一个配置是直接把Tomcat的日志输出到fluentd自身的日志文件中（/var/log/td-agent/td-agent.log）：
<match testing>
@type stdout
</match>
<source>
@type tail
path /home/ops/logs/*.log
tag testing
pos_file /home/ops/logs/log.pos
read_from_head true
<parse>
@type none
</parse>
</source>
第二个配置是为了将Tomcat日志通过Fluentd输出到文件。
<match testing>
@type file
path /var/log/td-agent/tomcat-app
<buffer time>
timekey 2m
</buffer>
</match>
<source>
@type tail
path /home/ops/logs/*.log
tag testing
pos_file /home/ops/logs/log.pos
read_from_head true
<parse>
@type none
</parse>
</source>
以上两个配置的<source>都是相同。目的都是为了单独测试Fluentd是否会按照我们的预想工作。深入理解Fluentd的工作原理。
Fluentd则会从该文件读取日志,然后写到/var/log/td-agent/tomcat-app目录下,因为是测试,所以每两分钟会生成一个文件.
应用程序日志目录是在log4j2.xml中配置的。应用程序代码在: https://github.com/ApcheeChen/docker-demo
该应用程序是一个很装装简单的Spingboot程序.关于里面log4j2.xml文件来源于:https://blog.csdn.net/zhangxiaomin1992/article/details/80676699. 我是照搬的.
我们按照下面的步骤将这个简单的app打包成一个image:
mvn clean package -Dmaven.test.skip=true
cd target/
docker build -t docker-demo .
docker tag docker-demo registry.cn-hangzhou.aliyuncs.com/dominic/docker-demo:0.5
docker push registry.cn-hangzhou.aliyuncs.com/dominic/docker-demo:0.5
Let me run this image in the same server as the Fluentd running:
docker run --name log-generator -d --rm -v ~/logs:/data/tomcat -p 80:8080 registry.cn-hangzhou.aliyuncs.com/dominic/docker-demo:0.5
日志文件的输出目录是/data/tomcat/. 我们把host主机目录/HOME/logs挂载到容器的/data/tomcat. 这样的话容器中log4j2日志就会打到host主机/HOME/logs下面。
$ ll -a
total 8
drwxr-xr-x. 2 root root 24 Apr 30 10:15 .
drwx------. 6 ops ops 178 Apr 30 10:18 ..
-rw-rw-rw-. 1 root root 5419 Apr 30 10:17 applog.log
我们观察td-agent的日志输出(/var/log/td-agent/td-agent.log)，发现有下面的错误消息不断输出：
2019-04-30 10:38:58 -0400 [error]: #0 unexpected error error_class=Errno::EACCES error="Permission denied @ dir_s_mkdir - /home/ops/logs"
经过好一番查找，才知道是权限的问题。 我们把上面倒数第二行的权限修改一下：
drwxrwxrwx. 6 ops ops 178 Apr 30 10:18 ..
访问应用服务：
http://192.168.3.200/loggen
192.168.3.200是我的应用程序的IP address. 上面这个服务是一个模拟的用来生成日志的服务。
到此为止，我们的应用程序日志到Fluentd已经跑通了。下一节我会来测试如何处理Java异常这类日志。
