ELK集群部署

ELK介绍

ELK是ElasticSerach、Logstash、Kibana三款产品名称的首字母集合，用于日志的搜集和搜索。

Elasticsearch：是一个开源分布式搜索引擎，提供搜集、分析、存储三大功能，特点是分布式、零配置、自动发现、索引自动分片、索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash：主要用来日志收集、分析、过滤日志的工具，支持大量数据获取方式。一般工作方式为C\S架构，Client端安装在需要收集日志的主机上，server端负责将收集到的各个节点日志进行过滤、修改等操作，然后一并发给elasticsearch。

Kibana：可以作为Logstash和elasticsearch提供的日志分析友好的UI界面，可以帮助汇总、分析和搜索重要数据日志。

Filebeat：轻量级数据收集引擎，ELK Stack 在 Agent 的第一选择。

1.系统配置

• 设置hostname，打开文件/etc/hostname，将内容改为elk-server

• 关闭防火墙（如果因为其他原因不能关闭防火墙，也请不要禁止80端口）

systemctl stop firewalld.service

• 禁止防火墙自动启动

systemctl disable firewalld.service

• 打开文件vim /etc/security/limits.conf，添加下面四行内容：

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

• 打开文件vim /etc/sysctl.conf，添加下面一行内容：

vm.max_map_count=655360

• 加载sysctl配置，执行命令：sysctl -p

2.部署ELK

• 配置jdk环境

1.检查一下系统中的jdk版本

java -version

2.检测jdk安装包

# rpm -qa | grep java

3.如果有卸载

比如： rpm -e --nodeps tzdata-java-2018c-1.el7.noarch

4.将jdk包拷贝到/usr/java下

mv jdk-8u161-linux-x64.tar.gz /usr/java

cd /usr/java

tar -xzvf jdk-8u161-linux-x64.tar.gz

cd jdk1.8.0_161/

5.设置环境变量

vim /etc/profile

在最前面添加：

export JAVA_HOME=/usr/java/jdk1.8.0_161

export CLASSPATH=$JAVA_HOME/lib/

export PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

使环境变量生效

source /etc/profile

• 部署Elasticsearch

单机版

1.创建目录

mkdir /usr/local/elk

2.将ElasticSerach、Logstash、Kibana安装包拷贝到此目录并解压

3.创建用户组

groupadd elk

4.创建用户加入用户组

useradd elk -g elk

5.创建日志文件

touch touch /usr/local/elk/elasticsearch-6.7.2/logs/elasticsearch.log

6.单独创建数据存放路径

mkdir /mnt/esdata

修改主配置文件中数据存放位置（若安装完成后需要修改，可以将elasticsearch-6.7.2/data/目录下所有文件复制到新创建的文件下）cp -Rp

7.设置ElasticSerach文件夹为用户elk所有：

chown -R elk. /usr/local/elk/elasticsearch-6.7.2/

若修改了数据存放路径，则创建的文件夹也需要修改

chown -R elk. /mnt/esdata/

8.执行启动命令

su - elk -c "/usr/local/elk/elasticsearch-6.7.2/bin/elasticsearch -d"

9.查看日志是否有报错

tail -f /usr/local/elk/elasticsearch-6.7.2/logs/elasticsearch.log

至此单机版es安装完成。可用curl 127.0.0.1:9200 查看返回值


集群版

1.创建目录

mkdir /usr/local/elk

2.将ElasticSerach、Logstash、Kibana安装包拷贝到此目录并解压

3.创建用户组

groupadd elk

4.创建用户加入用户组

useradd elk -g elk

5.创建日志文件

touch touch /usr/local/elk/elasticsearch-6.7.2/logs/elasticsearch.log

6.单独创建数据存放路径

mkdir /mnt/esdata

修改主配置文件中数据存放位置（若安装完成后需要修改，可以将elasticsearch-6.7.2/data/目录下所有文件复制到新创建的文件下）cp -Rp

7.设置ElasticSerach文件夹为用户elk所有：

chown -R elk. /usr/local/elk/elasticsearch-6.7.2/

若修改了数据存放路径，则创建的文件夹也需要修改

chown -R elk. /mnt/esdata/

8.修改es主配置文件

vim /usr/local/elk/elasticsearch-6.7.2/config/elasticsearch.yml

加入如下内容

cluster.name: elk  ###保证三台服务器节点集群名称相同

node.name: node-1 #### 每个节点名称不一样 其他两台为node-1 ,node-2

network.host: 0.0.0.0 #### 实际服务器ip地址

discovery.zen.ping.unicast.hosts: ["172.16.3.158", "172.16.3.157"]

discovery.zen.minimum_master_nodes: 1

9.执行启动命令

su - elk -c "/usr/local/elk/elasticsearch-6.7.2/bin/elasticsearch -d"

10.查看日志是否有报错

tail -f /usr/local/elk/elasticsearch-6.7.2/logs/elasticsearch.log

可用curl 127.0.0.1:9200 查看返回值

查看集群状态（另外一台重复上述操作）

curl -u USER:PASS http://127.0.0.1:9200/_cat/nodes?v


11.修改内存大小 ，一般为服务器内存大小一半

vim /usr/local/elk/elasticsearch-6.7.2/config/jvm.options 

后面安装Kibana后可以查看到

• 部署Logstash

1.退出当前用户，回到root用户

在目录/usr/local/elk/logstash-6.7.2下创建文件vim default.conf，内容如下：

# 监听5044端口作为输入

input {

    beats {

        port => "5044"

        }

}

# 数据过滤

filter {

    grok {

        match => { "message" => "%{COMBINEDAPACHELOG}" }

        }

    geoip {

source => "clientip"

        }

}

# 输出配置为本机的9200端口，这是ElasticSerach服务的监听端口

output {

    elasticsearch {

        hosts => ["127.0.0.1:9200"]

    }

}

后台启动Logstash服务

nohup bin/logstash -f default.conf --config.reload.automatic &

查看启动日志

tail -f logs/logstash-plain.log

•部署Kibana

1.打开Kibana的配置文件vim /usr/local/elk/kibana-6.7.2-linux-x86_64/config/kibana.yml，到第七行左右修改server.host

2.运行Kibana

进入Kibana的目录：/usr/local/elk/kibana-6.7.2-linux-x86_64 ;执行启动命令：nohup bin/kibana &

nohup /usr/local/elk/kibana-6.7.2-linux-x86_64/bin/kibana &

查看启动日志

tail -f /usr/local/elk/kibana-6.7.2-linux-x86_64/nohup.out 

在浏览器访问http://ip:5601，看到如下页面

•部署Filebeat

1.安装nginx

rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

yum install -y nginx

systemctl enable nginx

systemctl start nginx

2.安装FileBeat

vim /usr/local/elk/filebeat-6.7.2-linux-x86_64/filebeat.yml

24 　　 enabled: true

28　　　　 - /var/log/nginx/*.log

148　　　 #output.elasticsearch:

150 # hosts: ["localhost:9200"]

161 output.logstash:

163 hosts: ["10.0.0.175:5044"]

3.启动FileBeat

nohup ./filebeat -e -c filebeat.yml &>/dev/null &

4.验证

3.kibana平台增加安全认证

kibana是nodejs开发的，本身并没有任何安全限制，直接浏览url就能访问，如果公网环境非常不安全，可以通过nginx请求转发增加认证

1.安装nginx并修改配置文件：

yum install nginx

systemctl enable nginx

vim /etc/nginx.conf

user root;

worker_processes  4;

events {

worker_connections  1024;

}

http {

include      mime.types;

default_type application/octet-stream;

sendfile        on;

keepalive_timeout  65;

server {

listen      80;

server_name  127.0.0.1;

auth_basic "Kibana Auth";

auth_basic_user_file /etc/nginx/.htpasswd;

location / {

proxy_pass http://127.0.0.1:5601;

proxy_redirect off;

}

}

}

2.安装生成密码工具

yum install httpd-tools

生成密码，用户名为admin

htpasswd -c /usr/local/nginx/.htpasswd admin

提示输入2遍密码

New password:

Re-type new password:

Adding password for user admin

3.启动nginx

systemctl start nginx

4.验证

4.汉化kibana

1.安装git

yum install -y git

2.下载汉化包

git clone https://github.com/anbai-inc/Kibana_Hanization.git

3.进行汉化

修改kibana配置文件vim /usr/local/elk/kibana-6.7.2-linux-x86_64/config/kibana.yml中的配置项：i18n.locale: "zh-CN" 并重启kibana

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 217,406评论 6赞 503
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,732评论 3赞 393
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 163,711评论 0赞 353
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,380评论 1赞 293
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,432评论 6赞 392
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,301评论 1赞 301
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,145评论 3赞 418
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,008评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,443评论 1赞 314
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,649评论 3赞 334
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,795评论 1赞 347
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,501评论 5赞 345
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,119评论 3赞 328
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,731评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,865评论 1赞 269
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,899评论 2赞 370
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,724评论 2赞 354