filebeat windows安装使用

说明:本例主要采集日志文件到kafka为例

filebeat简述

      Filebeat是一个日志文件托运工具,在服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读)

      Filebeat工作流程:当开启filebeat程序时,它会启动一个或多个探测器(prospectors)去检测你指定的日志目录或文件,对于探测器找出的每一个日志文件,filebeat启动收割进程(harvester),每一个收割进程读取一个日志文件的新内容,并发送这些新的日志数据到处理程序(spooler),处理程序会集合这些事件,最后filebeat会发送集合的数据到你指定的地点。

使用:

1、解压安装包,不需要安装,直接可以使用

2、filebeat.yml主要配置文件配置:

#=========================== Filebeat inputs =============================

filebeat.inputs:

- input_type: log

enabled: true

paths:

- c:\Users\15324\Desktop\log1\u_ex*.log

- c:\Users\15324\Desktop\log2\u_ex*.log

#=========================== kafka output =============================

output.kafka:

hosts: ["10.0.0.212:6667","10.0.0.213:6667","10.0.0.219:6667"]

topic: test-topic1

required_acks: 1

#=========================== 其他 output =============================

注:(其他配置不做用修改)日志输出格式:json

3、开启kafka控制台consumer:

命令:kafka-console-consumer.sh --zookeeper hdp01:2181, hdp02:2181,hdp03:2181 --topic test-topic1 --from-beginning

4、启动命令:filebeat -e -c filebeat.yml

-e:关闭日志输出

-c:配置文件位置

4、kafka控制台日志输出:

详见:我的微博 https://blog.csdn.net/lihuan1124/article/details/81453807

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,711评论 19 139
  • 本人陆陆续续接触了ELK的1.4,2.0,2.4,5.0,5.2版本,可以说前面使用当中一直没有太多感触,最近使用...
    三杯水Plus阅读 4,277评论 0 12
  • 也不知从哪一天开始,“烦躁”、“没劲”、“懒得管”开始成为都市人的口头禅,外表嬉皮内心冷漠成为“后现代”的基本表征...
    一农小语阅读 350评论 0 0
  • 人类的情感从来复杂多变,难以捉摸。 躺在大床上,困意来袭,连难过和愤怒也变得不那么重要了。
    让我说阅读 199评论 0 0
  • 艺海泛舟阅读 267评论 5 4

友情链接更多精彩内容