一、环境
- Elasticsearch 版本:8.8
- kibana版本:8.8.0
- Windows11环境 Fluentd版本:1.17.3
二、配置Fluentd.conf
Fluentd官网:https://docs.fluentd.org/
当下载、安装好后配置文件正常会在安装目录下的etc目录下。D:\fluent\etc\fluent\fluentd.conf
# 配置全局系统设置
<system>
# 设置fluentd服务的日志级别为info,意味着只记录fluentd服务info及以上级别的日志信息
log_level debug
# 指定Fluentd服务的日志文件路径
log D:/fluent/logs/fluentd_service.log
</system>
# 定义一个数据源
<source>
# 使用tail插件来监控文件
@type tail
# 监控的日志文件路径,这里使用通配符*来匹配多个文件
path D:/log/*.log
# 保存读取位置的文件,用于断点续传
pos_file D:/log/chaoqian.log.pos
# 为收集到的数据打上的标签,方便后续处理
tag chaoqian
# 解析器配置
<parse>
# 使用json解析器,因为日志文件中的内容是JSON格式
@type json
</parse>
# 指定日志记录中的时间字段
time_key record.time.repr
time_type string
time_format %Y-%m-%d %H:%M:%S.%L%z
</source>
# 定义 chaoqian 标签 的数据输出目的地
<match chaoqian>
# 使用elasticsearch插件将数据发送到Elasticsearch
@type elasticsearch
# Elasticsearch服务器地址
host localhost
# Elasticsearch监听端口
port 9200
# 连接Elasticsearch的协议,这里使用https
scheme https
# 是否验证SSL证书,false表示不验证
ssl_verify false
# 连接Elasticsearch的用户名
user fluentd_user
# 连接Elasticsearch的密码
password Lq3FDhZ39E2GvnUr3Lw4
# 数据存储的索引名
index_name fluentd_prod.${tag}
# 是否启用Logstash兼容模式,默认为false
logstash_format true
# 每秒提交一次日志
flush_interval 1s
# 每条日志记录都会有时间字段
include_timestamp true
</match>
通过接口查询所有索引,可以看得到索引已经成功创建了。
这里我们没有预先在Elasticsearch 创建索引,是因为默认情况下,Elasticsearch 是允许动态创建索引的,除非显式禁用了 action.auto_create_index。
注意:只有当向索引发送了数据后,对应的索引才会进行创建。
image.png
三、Kinaba展示日志数据
- 配置数据视图,用于绑定索引;
image.png
image.png
image.png
image.png
可以看到,日志数据展示出来了;
需要哪些日志字段,可以在左边勾选,然后就会在右边Table展示。
image.png