Windows11 Fluentd 监控json日志--》Kinaba

一、环境

  • Elasticsearch 版本:8.8
  • kibana版本:8.8.0
  • Windows11环境 Fluentd版本:1.17.3

二、配置Fluentd.conf

Fluentd官网:https://docs.fluentd.org/

当下载、安装好后配置文件正常会在安装目录下的etc目录下。D:\fluent\etc\fluent\fluentd.conf

# 配置全局系统设置
<system>
  # 设置fluentd服务的日志级别为info,意味着只记录fluentd服务info及以上级别的日志信息
  log_level debug
  # 指定Fluentd服务的日志文件路径
  log D:/fluent/logs/fluentd_service.log
</system>

# 定义一个数据源
<source>
  # 使用tail插件来监控文件
  @type tail
  # 监控的日志文件路径,这里使用通配符*来匹配多个文件
  path D:/log/*.log
  # 保存读取位置的文件,用于断点续传
  pos_file D:/log/chaoqian.log.pos
  # 为收集到的数据打上的标签,方便后续处理
  tag chaoqian
  # 解析器配置
  <parse>
    # 使用json解析器,因为日志文件中的内容是JSON格式
    @type json
  </parse>
  # 指定日志记录中的时间字段
  time_key record.time.repr
  time_type string
  time_format %Y-%m-%d %H:%M:%S.%L%z
</source>

# 定义 chaoqian 标签 的数据输出目的地
<match chaoqian>
  # 使用elasticsearch插件将数据发送到Elasticsearch
  @type elasticsearch
  # Elasticsearch服务器地址
  host localhost
  # Elasticsearch监听端口
  port 9200
  # 连接Elasticsearch的协议,这里使用https
  scheme https
  # 是否验证SSL证书,false表示不验证
  ssl_verify false
  # 连接Elasticsearch的用户名
  user fluentd_user
  # 连接Elasticsearch的密码
  password Lq3FDhZ39E2GvnUr3Lw4
  # 数据存储的索引名
  index_name fluentd_prod.${tag}
  # 是否启用Logstash兼容模式,默认为false
  logstash_format true
  # 每秒提交一次日志
  flush_interval 1s  
  # 每条日志记录都会有时间字段
  include_timestamp true
</match>

通过接口查询所有索引,可以看得到索引已经成功创建了。
这里我们没有预先在Elasticsearch 创建索引,是因为默认情况下,Elasticsearch 是允许动态创建索引的,除非显式禁用了 action.auto_create_index。
注意:只有当向索引发送了数据后,对应的索引才会进行创建。

image.png

三、Kinaba展示日志数据

  1. 配置数据视图,用于绑定索引;
image.png
image.png
image.png
image.png

可以看到,日志数据展示出来了;
需要哪些日志字段,可以在左边勾选,然后就会在右边Table展示。

image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容