ELK 日志采集框架（一）：架构设计

1 服务架构概述

通过前文中对Kafka的安装介绍以及使用，本文将介绍Kakfa参与的一套 《海量日志收集框架》，从零开始实现一个高可用的单机版的日期采集分析框架。

架构使用技术： log4j2 + filebeat + kafka + logstash + elasticsearch + kibana

2 服务架构设计

架构图如下：

ELK.png

  • 日志输出 -- log4j2

  • 日志收集 -- filebeat

  • 日志过滤 -- logstash

  • 日志持久化 -- elasticsearch

  • 日志可视化 -- kibana

3 服务资源信息

服务器IP hostname 节点说明 版本
192.168.51.4 centos-4 filebeat 7.4.2
192.168.51.4 centos-4 kafka 2.12-2.1.0
192.168.51.4 centos-4 logstash 7.4.2
192.168.51.4 centos-4 elasticsearch 7.4.2
192.168.51.4 centos-4 kibana 7.4.2

4 官方文档手册

filebeat官网地址：https://www.elastic.co/cn/beats/filebeat

kafka官网地址：http://kafka.apache.org/

logstash官网地址：https://www.elastic.co/cn/logstash

elasticsearch官网地址：https://www.elastic.co/cn/elasticsearch/

kibana官网地址：https://www.elastic.co/cn/kibana

5 相关信息

下一篇：ELK 日志采集框架（二）：日志模块开发

博文不易，辛苦各位猿友点个关注和赞，感谢

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容