原文链接
Elastic Stack简称ELK，在本教程你将学习如何快速搭建并运行Elastic Stack。
首先你要安装核心开源产品：
Elasticsearch：
Kibana：
Beats：
Logstash：
然后，你将了解如何实现一个系统监视解决方案，该方案使用Metricbeat收集服务器度量并将数据发送到Elasticsearch，在Elasticsearch里你可以使用Kibana搜索和可视化数据。在你完成基本的设置之后，你可以添加Logstash来进行额外的解析。
你可以在一个单个虚拟机甚至你的笔记本上安装Elastic Stack。
重要：
实现安全性是建立Elastic Stack的关键步骤。要使用示例安装快速启动和运行，现在就跳过这些步骤。在通过网络发送敏感数据之前，请确保对Elastic Stack进行安全保护，并启用加密通信。
在你开始之前
- 有关支持的操作系统和产品兼容性的信息，请参阅Elastic Support Matrix
- 验证您的系统满足Logstash和Elasticsearch的最低JVM需求。
安装Elasticsearch
Elasticsearch是一个实时、分布式存储、搜索和分析引擎。它可以用于许多用途，但它擅长的一个上下文是对半结构化数据流(如日志或解码网络数据包)进行索引。
要下载和安装Elasticsearch，打开终端窗口，使用系统的命令(deb为Debian/Ubuntu, rpm为Redhat/Centos/Fedora, mac为OS X, win为Windows):
deb
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.deb
sudo dpkg -i elasticsearch-6.4.0.deb
sudo /etc/init.d/elasticsearch start
rpm
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.rpm
sudo rpm -i elasticsearch-6.4.0.rpm
sudo service elasticsearch start
mac
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz
tar -xzvf elasticsearch-6.4.0.tar.gz
cd elasticsearch-6.4.0
./bin/elasticsearch
win
1.从Elasticsearch下载页面下载Elasticsearch 6.4.0 Windows zip文件。
2.将zip文件的内容解压缩到计算机上的一个目录，例如，C:\Program Files
3.作为管理员打开命令提示符并进入到包含提取文件的目录，例如：
cd C:\Program Files\elasticsearch-6.4.0
4.启动Elasticsearch
bin\elasticsearch.bat
对于其他操作系统，请访问Elasticsearch下载页面。
要了解关于安装、配置和运行Elasticsearch的更多信息，请阅读Elasticsearch参考资料
确保elasticsearch已经启动并运行
要测试Elasticsearch守护进程是否启动并运行，请尝试在端口9200上发送HTTP GET请求。
curl http://127.0.0.1:9200
在Windows上，如果没有安装cURL，则将浏览器指向URL。
你会看到类似这样的回应:
{
"name" : "QtI5dUu",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "DMXhqzzjTGqEtDlkaMOzlA",
"version" : {
"number" : "6.4.0",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "00d8bc1",
"build_date" : "2018-06-06T16:48:02.249996Z",
"build_snapshot" : false,
"lucene_version" : "7.3.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
安装kibana
Kibana是一个开源的分析和可视化平台，设计用于Elasticsearch。使用Kibana搜索、查看和与存储在Elasticsearch索引中的数据交互。你可以轻松地执行高级数据分析并在各种图表、表格和地图中可视化数据。
我们建议你将Kibana安装在与Elasticsearch相同的服务器上，但这不是必需的。如果将产品安装在不同的服务器上，在开始Kibana之前，则需要更改Kibana配置文件kibana.yml中的Elasticsearch服务器的URL (IP:PORT)。
要下载和安装Kibana，打开终端窗口，使用与系统匹配的命令:
deb or rpm
curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz
tar xzvf kibana-6.4.0-linux-x86_64.tar.gz
cd kibana-6.4.0-linux-x86_64/
./bin/kibana
mac
curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-darwin-x86_64.tar.gz
tar xzvf kibana-6.4.0-darwin-x86_64.tar.gz
cd kibana-6.4.0-darwin-x86_64/
./bin/kibana
win
- 从Kibana下载页面下载Kibana 6.4.0 Windows zip文件。
2.将zip文件的内容解压缩到一个目录在您的计算机上，例如，C:\Program Files
3.作为管理员打开命令提示符并导航到包含提取文件的目录，例如:
cd C:\Program Files\kibana-6.4.0-windows
4.启动Kibana
bin\kibana.bat
对于其他操作系统，请访问Kibana下载页面。
要了解关于安装、配置和运行Kibana的更多信息，请阅读Kibana参考资料。
启动Kibana web界面
要启动Kibana web界面，请将浏览器指向端口5601。例如，http://127.0.0.1:5601。
安装Beats
Beats是作为开源数据托运人代理安装在服务器上，用于向Elasticsearch发送操作数据。Beats可以直接将数据发送到Elasticsearch或通过Logstash，在Logstash里你可以进一步处理和增强数据。
每个Beat是一个单独的可安装的产品。在本教程中，你将了解如何安装、运行Metricbeat和系统模块，使之能够收集系统指标。
要了解关于安装和配置其他Beat的更多信息，请参阅入门文档:
<colgroup style="box-sizing: border-box;"><col class="col_1" style="box-sizing: border-box;"><col class="col_2" style="box-sizing: border-box;"></colgroup>
| Elastic Beats | To capture |
|---|---|
| Auditbeat | Audit data |
| Filebeat | Log files |
| Heartbeat | Availability monitoring |
| Metricbeat | Metrics |
| Packetbeat | Network traffic |
| Winlogbeat | Windows event logs |
安装Metricbeat
要下载和安装Metricbeat，打开终端窗口并使用与您的系统匹配的命令：
deb
curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.4.0-amd64.deb
sudo dpkg -i metricbeat-6.4.0-amd64.deb
rpm
curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.4.0-x86_64.rpm
sudo rpm -vi metricbeat-6.4.0-x86_64.rpm
mac
curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.4.0-darwin-x86_64.tar.gz
tar xzvf metricbeat-6.4.0-darwin-x86_64.tar.gz
win
1.从Metricbeat下载页面下载Metricbeat Windows zip文件。
2.将zip文件的内容解压缩到 C:\Program Files中。
3.将Metricbeat -6.4.0-windows目录重命名为Metricbeat。
4.作为管理员打开PowerShell提示符(右键单击PowerShell图标并选择以管理员身份运行)。
5.从PowerShell提示符，运行以下命令将Metricbeat安装为Windows服务
PS > cd 'C:\Program Files\Metricbeat'
PS C:\Program Files\Metricbeat> .\install-service-metricbeat.ps1
对于其他操作系统，请访问Beats下载页面
将系统指标传到Elasticsearch
Metricbeat提供预先构建的模块，您可以使用这些模块在大约5分钟内快速实现和部署一个系统监控解决方案，包括样例指示板和数据可视化。
在本节中，您将了解如何运行系统模块，以从运行在服务器上的操作系统和服务收集指标。系统模块收集系统级指标，如CPU使用率、内存、文件系统、磁盘IO和网络IO统计数据，以及系统上运行的每个进程的顶级统计数据。
在你开始之前验证Elasticsearch和Kibana正在运行，Elasticsearch准备从Metricbeat接收数据。
建立系统模块并开始收集系统指标。
1.从Metricbeat安装目录，启用系统模块:
deb and rpm
sudo metricbeat modules enable system
mac：
./metricbeat modules enable system
win
PS C:\Program Files\Metricbeat> .\metricbeat.exe modules enable system
2.设置初始环境
deb and rpm
sudo metricbeat setup -e
mac
./metricbeat setup -e
win
PS C:\Program Files\Metricbeat> metricbeat.exe setup -e
setup命令加载Kibana仪表板。如果仪表板已经设置好，则省略此命令。e标志是可选的，并将输出发送到标准错误，而不是syslog。
3.启动Metricbeat
deb and rpm
sudo service metricbeat start
mac
./metricbeat -e
win
PS C:\Program Files\Metricbeat> Start-Service metricbeat
Metricbeat运行并开始向Elasticsearch发送系统指标。
在Kibana中可视化系统指标
要可视化系统指标，打开浏览器并导航到Metricbeat系统概述仪表板：
http://localhost:5601/app/kibana#/dashboard/Metricbeat-system-overview
TIP：如果在Kibana没有看到数据，请尝试将日期范围更改为更大的范围。默认情况下，Kibana会显示最后15分钟。如果看到错误，请确保Metricbeat正在运行，然后刷新页面。
现在你已经知道了如何为Elastic Stack建立最简单的体系结构—一个或多个Beats将事件数据直接发送到同一个服务器上运行的Elasticsearch实例—现在让我们添加Logstash。
安装Logstash
Logstash是一个强大的工具，可以集成多种部署。它提供了大量可供选择的插件，可以帮助您解析、充实、转换和缓冲各种来源的数据。
要下载和安装Logstash，打开终端窗口并使用与您的系统匹配的命令:
deb
curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.deb
sudo dpkg -i logstash-6.4.0.deb
rpm
curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.rpm
sudo rpm -i logstash-6.4.0.rpm
mac
curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz
tar -xzvf logstash-6.4.0.tar.gz
win
1.从Logstash下载页面下载Logstash 6.4.0 Windows zip文件。
2.将zip文件的内容解压缩到计算机上的一个目录，例如，C:\Program Files。使用短路径(少于30个字符)以避免在Windows上遇到文件路径长度限制。
对于其他操作系统，请访问Logstash的下载页面。
要了解关于安装、配置和运行Logstash的更多信息，请阅读logstash的参考资料。
配置logstash监听beats输入
Logstash提供从各种输入读取的输入插件。在本教程中，你将创建一个Logstash管道配置，它侦听Beats输入并将接收到的事件发送到Elasticsearch输出。
配置logstash：
1.创建一个新的日志存储管道配置文件，名为demo-metrics-pipeline.conf。如果您将Logstash作为deb或rpm包安装的，请在Logstash config目录中创建该文件。该文件必须包含:
- 一种输入阶段，配置Logstash在端口5044上侦听传入Beats连接。
- 一个输入阶段，将事件索引到Elasticsearch。输出阶段还配置Logstash写入Metricbeat索引。
例如：
input {
beats {
port => 5044
}
}
# The filter part of this file is commented out to indicate that it
# is optional.
# filter {
#
# }
output {
elasticsearch {
hosts => "localhost:9200"
manage_template => false
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
}
}
当你开始使用这个管道配置Logstash时，Beats事件是通过logstash输出出来的，你可以完全访问logstach输出出来的收集、充实和转换数据的功能。
启动logstash
使用与系统匹配的命令。如果你将Logstash作为deb或rpm包安装的，请确保config文件位于config目录中。
deb
sudo /etc/init.d/logstash start
rpm
sudo service logstash start
mac
./bin/logstash -f demo-metrics-pipeline.conf
win
bin\logstash.bat -f demo-metrics-pipeline.conf
TIP：如果你收到JVM错误消息，请检查Java版本，如安装Logstash中所示。
Logstash开始侦听来自Beats输入的事件。接下来需要配置Metricbeat将事件发送到Logstash。
配置Metricbeat以发送事件到logstash
Metricbeat默认向Elasticsearch发送事件。要将事件发送到Logstash中，请修改Metricbeat配置文件Metricbeat .yml。你可以在Metricbeat安装目录下找到这个文件，或者对于rpm和deb，在找到/etc/metricbeat。
通过注释它以禁用输出到Elasticsearch，然后取消注释以启用输出到logstash：
#-------------------------- Elasticsearch output ------------------------------
#output.elasticsearch:
# Array of hosts to connect to.
#hosts: ["localhost:9200"]
.
.
.
#----------------------------- Logstash output --------------------------------
output.logstash:
# The Logstash hosts
hosts: ["localhost:5044"]
保存文件，然后重新启动Metricbeat应用配置更改。
Logstash从Beats输入读取数据并将事件索引到Elasticsearch。你还没有定义筛选器部分，因此Logstash只是将事件转发给Elasticsearch，而没有进行额外的处理。接下来，您将学习如何定义筛选器阶段。
定义一个过滤器以使从字段中提取数据
Metricbeat收集的系统度量包括一个名为cmdline的字段，该字段包含用于启动系统进程的完整命令行参数。例如:
"cmdline": "/Applications/Firefox.app/Contents/MacOS/plugin-container.app/Contents/MacOS/plugin-container -childID 3
-isForBrowser -boolPrefs 36:1|299:0| -stringPrefs 285:38;{b77ae304-9f53-a248-8bd4-a243dbf2cab1}| -schedulerPrefs
0001,2 -greomni /Applications/Firefox.app/Contents/Resources/omni.ja -appomni
/Applications/Firefox.app/Contents/Resources/browser/omni.ja -appdir
/Applications/Firefox.app/Contents/Resources/browser -profile
/Users/dedemorton/Library/Application Support/Firefox/Profiles/mftvzeod.default-1468353066634
99468 gecko-crash-server-pipe.99468 org.mozilla.machname.1911848630 tab"
与其将整个命令行参数发送到Elasticsearch，不如只发送命令的路径。一种方法是使用Grok过滤器。学习Grok超出了本教程的范围，但是如果您想了解更多，请参阅Grok filter插件文档。
要提取路径，在之前创建的Logstash配置文件的输入和输出部分之间添加以下Grok过滤器:
filter {
if [system][process] {
if [system][process][cmdline] {
grok {
match => {
"[system][process][cmdline]" => "^%{PATH:[system][process][cmdline_path]}"
}
remove_field => "[system][process][cmdline]"
}
}
}
｝
- 使用正则模式匹配路径，然后将路径存储在一个名为cmdline_path的字段中。
- 移除原始字段cmdline，所以它不在Elasticsearch中索引。
完成之后，完整的配置文件应该如下所示:
input {
beats {
port => 5044
}
}
filter {
if [system][process] {
if [system][process][cmdline] {
grok {
match => {
"[system][process][cmdline]" => "^%{PATH:[system][process][cmdline_path]}"
}
remove_field => "[system][process][cmdline]"
}
}
}
}
output {
elasticsearch {
hosts => "localhost:9200"
manage_template => false
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
}
}
重新启动Logstash以获取更改。事件现在包含一个名为cmdline_path的字段，该字段包含命令路径:
"cmdline_path": "/Applications/Firefox.app/Contents/MacOS/plugin-container.app/Contents/MacOS/plugin-container"
接下来是什么
恭喜你! 你已经成功地建立了Elastic Stack。你学习了如何流传输系统度量到Elasticsearch中在Kibana中可视化这些数据。你还学习了如何使用Logstash来过滤Metricbeat收集的事件。
