Kibana+Elasticsearch+logstash+filebeat初体验

ELK日志分析系统就是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件,可以把部署在不同机房应用的日志统一采集、分析、输出
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。
下载地址:https://www.elastic.co/cn/downloads?elektra=home&amp&storm=banner

image.png

Elasticsearch配置与启动

Elasticsearch配置文件在config目录下的elasticsearch.yml:

image.png

./elasticsearch

验证：浏览器输入ip:端口会有如下响应:

{
  "name" : "WTCCN-FS-OMSAPP2",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "bDciI1eSRRevTZfmjB8KIg",
  "version" : {
    "number" : "7.5.1",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "3ae9ac9a93c95bd0cdc054951cf95d88e1e18d96",
    "build_date" : "2019-12-16T22:57:37.835892Z",
    "build_snapshot" : false,
    "lucene_version" : "8.3.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

image.png

Kibana配置与启动

Kibana配置文件在config目录下的kibana.yml:

image.png

./kibana

浏览器输入访问地址: http://localhost:5601

image.png

Logstash配置与启动

Logstash配置文件在config目录下的logstash-sample.conf:
①指定文件位置

image.png

到bin目录下启动logstash，启动命令:

./logstash -f /app/logstash-7.5.1/config/logstash-sample.conf

image.png

image.png

②用filebeat搜集

image.png

filebeat配置与启动

image.png

image.png

重启logstash,启动filebeat,启动命令:

 ./filebeat -e ./filebeat.yml

image.png