elk搭建

下载地址：https://www.elastic.co/cn/downloads/
下载慢的可以找国内的资源
注：kibana请下载与ElasticSearch相同的版本

一、Elasticsearch安装
1.解压缩

tar -zxvf elasticsearch-7.3.2.gz.tar

2.配置文件

mkdir -p /data/elk/data /data/elk/log
cd elasticsearch-7.3.2/config
vim elasticsearch.yml

在最下面添加

path.data: /data/elk/data
path.logs: /data/elk/logs
cluster.name: "myelk"
network.host: 0.0.0.0
http.port: 5601
# custom config
node.name: "node-1"
discovery.seed_hosts: ["127.0.0.1", "[::1]"]
cluster.initial_master_nodes: ["node-1"]
#开启跨域访问支持，默认为false
http.cors.enabled: true
#跨域访问允许的域名地址
http.cors.allow-origin: "*"

3.启动

cd elasticsearch-7.3.2/bin
./elasticsearch -d

启动时碰到的问题
3.1 缺少java环境

//安装java11
yum install java-11-openjdk-devel.x86_64
java -version

3.2 elasticsearch不能使用root启动

//创建elasticsearch用户组及elasticsearch用户
groupadd elasticsearch
useradd elasticsearch -g elasticsearch -p elasticsearch
chown -R elasticsearch /根目录/elasticsearch-7.3.2  //更改文件所属组和用户
chown -R elasticsearch /data/elk  //更改文件所属组和用户
su elasticsearch  //切换用户

3.3 报错
错误一：
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

//修改内存
su root
sysctl -w vm.max_map_count=262144
//查看
sysctl -a|grep vm.max_map_count

错误二：
max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

//每个进程最大同时打开文件数太小，可通过下面2个命令查看当前数量
ulimit -Hn
ulimit -Sn
//修改/etc/security/limits.conf文件，增加配置，用户退出后重新登录生效
*               soft    nofile          65536
*               hard    nofile          65536

错误三：max number of threads [3869] for user [elasticsearch] is too low, increase to at least [4096]

//最大线程个数太低。修改配置文件/etc/security/limits.conf
*               soft    nproc           4096
*               hard    nproc           4096
//通过命令查看
ulimit -Hu
ulimit -Su

3.4 启动完毕
浏览器输入：ip:端口(5601)
启动成功！

elasticsearch.png

二、kibana安装

切回root

su root
tar -zxvf kibana-7.3.2-linux-x86_64.tar.gz
mv kibana-7.3.2-linux-x86_64.tar.gz ./kibana-7.3.2

修改配置文件

cd kibana-7.3.2/config
vim kibana.yml

配置添加

server.port: 5602
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:5601"]  #elasticsearch地址
kibana.index: ".kibana"
i18n.locale: "zh-CN"  #默认中文

启动与停止

nohup ./kibana --allow-root > /data/elk/logs/kibana/kibana.log 2>&1 &  //后台运行
ps -aux| grep node
kill -9 kibana进程

查看kibana
浏览器输入：ip:端口(5602)

二、logstash安装

解压

tar -zxvf logstash-7.3.2.tar.gz

配置文件

cd logstash-7.3.2/config
vim logstash.conf

  input {
    stdin {}
  }
  output {
    elasticsearch {
      hosts => "127.0.0.1:5601"}
    stdout {
      codec => rubydebug }
  }

启动

nohup /文件路径/bin/logstash -f /文件路径/config/logstash1.conf > /dev/null 2>&1 &

查看nginx日志

查看日志