正在找Elastic Stack(ELK)指南，那本介绍如何搭建Elastic Stack和快速启动运行的宝典？那你就找对地方了！首先，请安装以下核心产品：

• Elasticsearch
• Kibana
• Beats
• Logstash(可选)
  之后你就可以学习到如何集成一套系统监测解决方案。用Metricbeat收集服务器指标数据，将数据发送到ElasticSearch，通过Kibana进行搜索和可视化数据。这些基础的步骤完成之后，你还可以添加Logstash进行其他分析。

刚开始你可以将Elastic Stack安装到单独的虚拟机或者你的笔记本电脑上。

⚠️ 在Elastic Stack设置中集成安全组件是非常重要的。为了快速启动和运行样例，现在暂时略去此步骤。但项目中在网络上发送敏感数据前，请确保已经加密 secure the Elastic Stack启用 encrypted communications.

开始之前

• 有关受支持的操作系统和产品兼容性的信息，请参阅 Elastic Support Matrix
• 确保你的系统满足Logstash和Elasticsearch对JVM最低要求

安装Elasticsearch

Elasticsearch是一款实时，分布式存储，搜索和分析引擎。用途广泛，但最重要的一个特点是索引半结构化的数据，比如日志或者解码的网络数据包。

ℹ️你可以在自己的硬件上运行Elasticsearch，或者ElasticCloud运行 hosted Elasticsearch Service。这项服务在AWS和GCP上都有。免费试用Elasticsearch Service.

下载安装Elasticsearch，打开终端并运行命令(deb for Debian/Ubuntu, rpm for Redhat/Centos/Fedora, mac or brew for OS X, linux for Linux, and win for Windows):
deb:
Version 7.8.0 of Elasticsearch has not yet been released.
rpm:
Version 7.8.0 of Elasticsearch has not yet been released.
mac:
Version 7.8.0 of Elasticsearch has not yet been released.
brew:
Version 7.8.0 of Elasticsearch has not yet been released.
linux:
Version 7.8.0 of Elasticsearch has not yet been released.
win:
Version 7.8.0 of Elasticsearch has not yet been released.
其他操作系统, 请访问 Elasticsearch download 页面.

ℹ️默认的 cluster.name和 node.name分别是elasticsearch和你的主机名。如果你打算继续使用这个集群或者添加更多的节点，那么最好把这些参数改成唯一的名称。详细关于这些修改和其他在elasticsearch.yml中的参数，参考Configuring Elasticsearch.

更多关于Elasticsearch安装、配置和运行的细节，请参阅Elasticsearch Reference。

确保Elasticsearch启动运行

测试Elasticsearch守护进程启动并运行，发送HTTP的GET请求到端口9200。

curl http://127.0.0.1:9200

Windows上，如果你没有安装cURL，那就直接在浏览器打开http://127.0.0.1:9200
如果运行正常，那么你可以看到如下的返回信息：

{
  "name" : "QtI5dUu",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "DMXhqzzjTGqEtDlkaMOzlA",
  "version" : {
    "number" : "7.8.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "00d8bc1",
    "build_date" : "2018-06-06T16:48:02.249996Z",
    "build_snapshot" : false,
    "lucene_version" : "7.3.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

安装Kibana

Kibana是用域数据分析和可视化的Elasticsearch最佳搭档。通过Ki 办啊可以与Elasticsearch索引进行交互，查询，查看。你可以在Kibana使用高级的数据分析、数据可是化，它支持多种图、表、地图等。

ℹ️如果您在Elastic Cloud托管Elasticsearch，那么只需轻轻一点开关就可以启用Kibana

我建议你在与Elasticsearch同一台服务器上安装Kibana，但倒也不是必须这么做。如果你将产品安装在不同的服务器上，那么就需要启动之前在Kibana配置文件kibana.yml上修改Elasticsearch服务器的地址（IP:PORT).

可以通过终端下载Kibana安装包，国内可以使用huawei镜像下载：
deb, rpm, or linux:
Version 7.8.0 of Kibana has not yet been released.
mac:
Version 7.8.0 of Kibana has not yet been released.
brew:
Version 7.8.0 of Kibana has not yet been released.
win:
Version 7.8.0 of Kibana has not yet been released.

其他操作系统, 访问Kibana download页面.

关于安装、配置、运行Kibana的相关细节，参阅Kibana Reference。

访问Kibana页面控制台

访问Kibana页面控制台，在浏览器中打开http://127.0.0.1:5601。

安装Beats

Beats是您作为代理安装在服务器上的开源数据发送者，用于将运营数据发送到Elasticsearch。 Beats可以将数据直接发送到Elasticsearch或通过Logstash发送，您可以在其中进一步处理和增强数据。

每个Beat是单独安装的产品。在本指南中，您将学习如何在启用system模块以收集系统指标的情况下安装和运行Metricbeat。

要了解有关安装和配置其他Beats的更多信息，请参阅《入门指南》文档.

安装Metricbeat

下载安装Metricbeat，打开终端运行你的系统支持的命令：
deb:
Version 7.8.0 of Metricbeat has not yet been released.
rpm:
Version 7.8.0 of Metricbeat has not yet been released.
mac:
Version 7.8.0 of Metricbeat has not yet been released.
brew:
Version 7.8.0 of Metricbeat has not yet been released.
linux:
Version 7.8.0 of Metricbeat has not yet been released.
win:
Version 7.8.0 of Metricbeat has not yet been released.

其他系统，前往Beats download 页面。

将系统数据发送到Elasticsearch

Metricbeat提供了预构建的模块，可用于在约5分钟内快速实现和部署系统监视解决方案，并带有示例仪表板和数据可视化。

这一节中，您将学到如何运行system模块从操作系统和服务器上运行的服务中收集数据。system模块收集操作系统级别的数据，比如CPU用量，内存，文件系统，磁盘IO和网络IO统计量，同时系统上运行的每个进程的顶级统计数据。

开始之前：检查Elasticsearch和Kibana已经正常运行并且能够接收来自Metricbeat的数据。

设置system模块并开始收集系统数据：

1. 从Metricbeat安装目录中启动system模块：

deb and rpm:

sudo metricbeat modules enable system

mac and linux:

./metricbeat modules enable system

brew:

metricbeat modules enable system

win:

PS C:\Program Files\Metricbeat> .\metricbeat.exe modules enable system

2. 设置初始环境：

deb and rpm:

sudo metricbeat setup -e

mac and linux:

./metricbeat setup -e

brew:

metricbeat setup -e

win:

PS C:\Program Files\Metricbeat> metricbeat.exe setup -e

setup命令将加载Kibana仪表板。如果已经设置了仪表板，请忽略此命令。 -e标志是可选的，并将输出发送到标准错误而不是syslog

启动Metricbeat：

deb and rpm:

sudo service metricbeat start

mac and linux:

./metricbeat -e

brew:

metricbeat -e

win:

PS C:\Program Files\Metricbeat> Start-Service metricbeat

Metricbeat运行并开始将系统指标发送到Elasticsearch。

Kibana可视化系统数据

打开浏览器，访问Metricbeat系统仪表盘

ℹ️如果你在Kibana中看不到数据，试着把数据范围扩大。默认，Kibana只展示最近15分钟之内的数据；如果有错误，请确保metricbeat正常运行，并刷新页面。

单击Host Overview以查看有关所选主机的详细指标

仪表盘1

仪表盘2

现在您已经知道如何为Elastic Stack设置最简单的架构-一个或多个Beats将事件数据直接发送到运行在同一服务器上的Elasticsearch实例-让我们添加Logstash。

安装Logstash（可选）

Logstash是一个可以与多种部署交互的强大的工具。它提供大陆昂可选插件来帮你从各种数据源解析、扩展、转换、缓存数据。如果你的数据要求其他Beats里无法处理的需求，你可以在部署中添加Logstash。

下载安装Logstash，打开你的系统终端，用系统支持的命令：
deb:
Version 7.8.0 of Logstash has not yet been released.
rpm:
Version 7.8.0 of Logstash has not yet been released.
mac and linux:
Version 7.8.0 of Logstash has not yet been released.
brew:
Version 7.8.0 of Logstash has not yet been released.
win:
Version 7.8.0 of Logstash has not yet been released.

其他系统，参阅 Logstash download。

更多关于安装、配置、运行Logstash，参阅Logstash Reference。

配置Logstash监听Beats的输入

Logstash提供输入插件可以从不同的输入源获取数据。在本指南中，你将创建一个Logstash管道配置监听Beats作为输入源，并将接收到的事件作为输出发送给Elasticssearch。

配置Logstash：

1. 新建一个Logstash管道，命名配置文件为demo-metricss-pipeline.conf。如果你是通过deb或者rpm包安装的Logstash，将这个文件创建在Logstash的config目录下，这个文件需要包含：

• 输入阶段 ：为Logstash配置监听端口5044来连接Beats
• 输出阶段：触发Elasticsearch索引事件。同时输出阶段配置Logstash将索引写到Metricbeat

举个例子，

input {
  beats {
    port => 5044
  }
}

# The filter part of this file is commented out to indicate that it
# is optional.
# filter {
#
# }

output {
  elasticsearch {
    hosts => "localhost:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

当你启动有这份管道配置文件的Logstash时，Beats的事件通过Logstash路由，通过Logstash我们有完全的控制权限来收集、扩展、转换和传输数据。

启动Logstash

使用系统支持的命令行。如果你通过deb或者rpm包安装Logstash，确保配置文件在config目录下。其他平台，config目录不是必须的，但是最好能保持一致。
deb:

sudo /etc/init.d/logstash start

rpm:

sudo service logstash start

mac and linux:

cd logstash-7.8.0
./bin/logstash -f path/to/config/demo-metrics-pipeline.conf

brew:

logstash -f path/to/config/demo-metrics-pipeline.conf

win:

bin\logstash.bat -f path\to\config\demo-metrics-pipeline.conf

ℹ️如果出现JVM错误信息，请确保java 版本是跟 Installing Logstash
中匹配的。

Logstash开始监听来自Beats的事件作为输入。接下来你需要配置Metricbeat来发送事件到Logstash。

配置Metricbeat发送事件到Logstash

Metricbeat默认发送事件到Elasticsearch。发送事件到Logstash，修改Metricbeat配置文件metricbeat.yml。你可以在Metricbeat安装目录下找到这份文件。rpm和deb在/etc/metricbeat，brew在/usr/local/etc/metricbeat.

注释output.elasticsearch这段来停用，然后删掉注释output.logstash来启用：

#-------------------------- Elasticsearch output ------------------------------
#output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["localhost:9200"]
.
.
.
#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

保存文件，然后重启Metricbeat来应用修改的配置。

Logstash从Beats中读取数据然后往Elasticsearch发送索引事件。到目前位置，你还没有定义过滤器，所以Logstash只是简单地将事件转发到Elasticsearch而没有做任何其他的处理。接下来，你将学习如何定义过滤器。

定义过滤器从指定字段中提取数据

Metricbeat收集的系统指标包括一个名为cmdline的字段，其中包含用于启动系统进程的完整命令行参数。例如：

"cmdline": "/Applications/Firefox.app/Contents/MacOS/plugin-container.app/Contents/MacOS/plugin-container -childID 3
-isForBrowser -boolPrefs 36:1|299:0| -stringPrefs 285:38;{b77ae304-9f53-a248-8bd4-a243dbf2cab1}| -schedulerPrefs
0001,2 -greomni /Applications/Firefox.app/Contents/Resources/omni.ja -appomni
/Applications/Firefox.app/Contents/Resources/browser/omni.ja -appdir
/Applications/Firefox.app/Contents/Resources/browser -profile
/Users/dedemorton/Library/Application Support/Firefox/Profiles/mftvzeod.default-1468353066634
99468 gecko-crash-server-pipe.99468 org.mozilla.machname.1911848630 tab"

除了发送这个命令行参数到Elasticsearch之外， 你可能还想要发送命令行的路径。有一个方法就是用Grok过滤器。学习Grok超出了入门指南的范围，你可以在 Grok filter plugin文档中学习更多有关内容。

抓取路径，可以在Logstash配置的输入输出配置之间添加下面Grok过滤器：

filter {
  if [system][process] {
    if [system][process][cmdline] {
      grok{
          match => { 1.
            "[system][process][cmdline]" => "^%{PATH:[system][process][cmdline_path]}"
}
        remove_field => "[system][process][cmdline]" 2.
}
}
}
}

1. 使用模式匹配路径，然后存储这些路径到一个名为cmdline_path的域中
2. 移除最初的域cmdline，这样它就不会在Elasticsearch里被索引

至此，整个配置文件会是这样的：

input {
  beats {
    port => 5044
  }
}

filter {
  if [system][process] {
    if [system][process][cmdline] {
      grok {
        match => {
          "[system][process][cmdline]" => "^%{PATH:[system][process][cmdline_path]}"
        }
        remove_field => "[system][process][cmdline]"
      }
    }
  }
}

output {
  elasticsearch {
    hosts => "localhost:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

重启Logstash来更新配置。现在事件引入了一个名为cmdline_path的域：

"cmdline_path": "/Applications/Firefox.app/Contents/MacOS/plugin-container.app/Contents/MacOS/plugin-container"

接下来是什么？

恭喜！你已经成功的配置好了Elastic Stack。你学到了如何将系统数据导入Elasticsearch，在Kibana中可视化数据。你要学习了如何使用Logstash过滤Metricbeat收集的数据。

接下来，你想要在Elastic Stack设置安全性，激活你的试用许可，这样你可以激活Elastic Stack的所有功能。如何学习？

• Securing the Elastic Stack
• License Management

否想通过指标监视和集中式日志分析快速启动并运行？在Kibana中试用Metrics应用程序和Logs应用程序。更多细节，参见Metrics Monitoring Guide 和 Logs Monitoring Guide.
随后， 想要在生产环境中配置，参考 Elastic Stack Installation and Upgrade Guide。