ELK日志收集系统大家都知道，但是还有一种日志收集系统EFK，肯定有很多朋友不知道！这里的F指的是Fluentd，它具有Logstash类似的日志收集功能，但是内存占用连Logstash的十分之一都不到，性能优越、非常轻巧。本文将详细介绍Fluentd的使用，主要用来收集SpringBoot应用的日志，希望对大家有所帮助！

Fluentd 简介

Fluentd是一款开源的日志收集功能，致力于为用户搭建统一的日志收集层，和Elasticsearch、Kibana一起使用可以搭建EFK日志收集系统。什么是统一的日志收集层呢？看下下面这张图就清楚了！

安装

在你居然还去服务器上捞日志，搭个日志收集系统难道不香么！中已经介绍了ELK日志收集系统的搭建，这里就不再介绍Elasticsearch和Kibana的安装了，直接介绍Fluentd在Docker环境下的安装。

下载Fluentd的Docker镜像；

将默认配置fluent.conf文件复制到/mydata/fluentd/目录下，配置信息如下：

运行Fluentd服务，需要开放24221~24224四个端口用于接收不同类型的日志；

第一次启动可能会失败，修改目录权限后重新启动即可；

使用root用户进入Fluentd容器内部；

安装Fluentd的Elasticsearch插件；

如果你依然想使用docker-compose一次性安装EFK的话，可以使用如下脚本，注意使用user:root启动就不需要再修改目录权限了！

使用新的配置文件fluent.conf替换原来的配置文件，然后重新启动Fluentd服务，新的配置文件会在下面给出。

Fluentd配置详解

接下来我们来介绍下Fluentd配置文件如何配置，先放出完全配置，然后我们对里面的一些配置要点进行详细说明。

完全配置

配置要点解析

<source>

定义了日志收集的来源，可以有tcp、udp、tail（文件）、forward（tcp+udp）、http等方式。

这里我们从tcp请求收集日志，端口为24221，并且设置了tag为debug。

<parse>

定义对原始数据的解析方式，可以将日志转化为JSON。

比如我们将debug日志转化为JSON可以进行如下配置。

<filter>

可以对收集的日志进行一系列的处理，比如说将日志打印到控制台或者对日志进行解析。

将所有日志打印到控制台的配置：

对于tag为record来源的日志，我们将其中的message属性转化为JSON格式，如果不进行转化的话，message属性将会是一个字符串。

<match>

定义了收集到的日志最后输出到哪里，可以输出到stdout（控制台）、file、elasticsearch、mongo等里面。

这里我们使用elasticsearch来存储日志信息，logstash_format、logstash_prefix、logstash_dateformat主要用来控制日志索引名称的生成，当前配置生成debug日志的索引格式为

docker-debug-logs-2020-06-03，flush_interval用来控制日志输出到elasticsearch的时间间隔。

替换配置文件

替换掉原来的

/mydata/fluentd/fluent.conf配置文件，然后再重新启动服务，我们的Fluentd服务就可以开始收集日志了。

docekrrestart efk-fluentd

结合SpringBoot使用

其实Fluentd收集日志的原理和Logstash一样，都是通过tcp端口来收集日志，所以我们只要把logback配置文件中原来Logstash日志收集地址端口改为Fluentd的即可。

修改logback-spring.xml配置文件；

如果你的Fluentd不是部署在原来Logstash的服务器上，还需要修改application-dev.yml配置中的logstash.host属性。

启动并运行我们的SpringBoot应用。

Kibana中查看日志

至此我们的EFK日志收集系统搭建完成了，只需在Kibana中使用即可。

在Management->Kibana->Index Patterns中可以创建Index Patterns，Kibana服务访问地址：http://192.168.3.101:5601

创建完成后查看日志，可以看出该日志收集功能和我们之前搭建的ELK系统完全相同。

Logstash vs Fluentd

接下来我们来对这两个日志收集工具的各个方面做个对比。