filebeat源码分析二和kafka topic分发feature新增

既然开始猥琐,就猥琐到底吧
作者说过,出于性能考虑,output只能有一个,而kafka output的配置里面只能傻逼地配一个topic,而现实中,我需要把不同日志对应的内容分发到不同topic,现在是一台机起了多个filebeat来实现,这样很恶心。
想过两种思路:
1、从filebeat main函数出发,按照多套配置,每套配置起一个pipeline。这样可以处理1对1的input和output
不过看着那么多锁和信号量,感觉不太靠谱
2、弄个topic数组,跟input的顺序对应起来。
看起来2是可行的。
看了下kafka output的源码,看到了一点有趣的东西


image.png

基础的消息体分成几部分
时间戳、消息头、消息主题、private那个应该暂时filebeat是没用到的


image.png

也就是说,只要input的消息里面,在消息体的头部加上topic字段,就可以实现不同topic的分发
啊呜呜呜呜
那又是改一下input的事,感恩。
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,288评论 19 139
  • 姓名:周小蓬 16019110037 转载自:http://blog.csdn.net/YChenFeng/art...
    aeytifiw阅读 34,788评论 13 425
  • Kafka入门经典教程-Kafka-about云开发 http://www.aboutyun.com/threa...
    葡萄喃喃呓语阅读 10,905评论 4 54
  • 三 四 (说明程序本身被修改(或者加密)过了,而上面能够打开,推测是因为qqllk.exe对其进行了一定的修改)单...
    bluewind1230阅读 704评论 0 0
  • 倾斜:弱化的字体,相当于楷体 加粗:对重要内容,只对标题,重点句子 下划线:弱化于加粗 不能 加粗,下划一起用
    城艾子阅读 306评论 0 1