elk环境搭建

一、说明

这篇文章是2020年6月份写在自己博客的，组件版本应该都比较低了。

二、组件

filebeat
kafka
zookeeper
elasticsearch
kibana

三、参考链接：

# 1 json在线解析
https://www.json.cn/
# 2 grok debug
http://grokdebug.herokuapp.com/
http://grokdebug.herokuapp.com/patterns
# 3 template接口
https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices-templates.html
# 4 elk官网指南
https://www.elastic.co/guide/index.html
https://www.elastic.co/

四、服务器

172.16.1.30 kc-log-01                            日志所在服务器
172.16.1.94 kc-online-log-platform-001   elasticsearch  kafka  zookeeper
172.16.1.93 kc-online-log-platform-002  elasticsearch  kafka  zookeeper
172.16.1.92 kc-online-log-platform-003  elasticsearch  kafka  zookeeper  kibana  logstash

五、JAVA JDK安装

# 1 获取java jdk安装包
[root@kc-online-log-platform-001 ~]# ls /opt/
elk  jdk1.8.0_211  kafka
# 2 配置环境变量
[root@kc-online-log-platform-001 ~]# cat /etc/profile.d/java.sh
export JAVA_HOME=/opt/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin
# 3 应用环境变量
[root@kc-online-log-platform-001 ~]# source /etc/profile.d/java.sh

六、目录结构

[root@kc-online-log-platform-001 elk]# ls /data/
elk  kafka  zk
[root@kc-online-log-platform-001 elk]# ls /data/elk/elasticsearch/
config  data
[root@kc-online-log-platform-001 elk]# ls /data/zk/
zkdatalog  zookeeper

七、elasticsearch集群搭建

# kc-online-log-platform-001
[root@kc-online-log-platform-001 elk]# cat docker-compose.yaml 
version: '3'
services:
  kclog-online-node03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.8.0
    container_name: kclog-online-node03
    restart: always
    environment:
      - node.name=es-node-03
      - network.publish_host=172.16.1.94
      - network.host=0.0.0.0
      - discovery.seed_hosts=172.16.1.92,172.16.1.93,172.16.1.94
      - cluster.name=kc-log-center
      - cluster.initial_master_nodes=172.16.1.92,172.16.1.93,172.16.1.94
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /data/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300

# kc-online-log-platform-002
[root@kc-online-log-platform-002 ~]# cat /opt/elk/docker-compose.yaml 
version: '3'
services:
  kclog-online-node02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.8.0
    container_name: kclog-online-node02
    restart: always
    environment:
      - node.name=es-node-02
      - network.publish_host=172.16.1.93
      - network.host=0.0.0.0
      - discovery.seed_hosts=172.16.1.92,172.16.1.93,172.16.1.94
      - cluster.name=kc-log-center
      - cluster.initial_master_nodes=172.16.1.92,172.16.1.93,172.16.1.94
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /data/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300

# kc-online-log-platform-003
[root@kc-online-log-platform-003 ~]# cat /opt/elk/docker-compose.yaml 
version: '3'
services:
  kclog-online-node01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.8.0
    container_name: kclog-online-node01
    restart: always
    environment:
      - node.name=es-node-01
      - network.publish_host=172.16.1.92
      - network.host=0.0.0.0
      - discovery.seed_hosts=172.16.1.92,172.16.1.93,172.16.1.94
      - cluster.name=kc-log-center
      - cluster.initial_master_nodes=172.16.1.92,172.16.1.93,172.16.1.94
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /data/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300

# 上述三台服务器执行一下操作：
cd /opt/elk/
docker-compose up -d

八、常用api

# elasticsearch api
# 1 获取索引
curl 'localhost:9200/_cat/indices?v'
curl -ulogstash:jflogstash123 '172.18.238.3:9200/_cat/indices?'   带密码查询
# 2 创建索引
curl -XPUT 'localhost:9200/customer’
# 3 插入数据
curl -XPUT 'localhost:9200/customer/external/1'-d ' { "name": "John Doe”}'
# 4 查询数据
curl 'localhost:9200/customer/external/1'
# 5 删除索引
curl -XDELETE 'localhost:9200/customer'
# 6 查看已安装的插件
curl http://127.0.0.1:9200/_cat/plugins
# 7 查看索引信息
curl -XGET "http://localhost:9200/kc-online-log-2020.06.21/_mapping"
# 8 创建template 其中：kc_online_log_template为创建的template
curl -XPUT -H "Content-Type: application/json" "http://localhost:9200/_template/kc_online_log_template" -d ''
# 9 集群状态查看
curl 'localhost:9200/_cat/health?v
# 10 查看集群node
curl 'localhost:9200/_cat/nodes?v'

九、kafka+zookeeper集群

9.1、kc-online-log-platform-001

9.1.1、zookeeper

[root@kc-online-log-platform-001 config]# grep -v "^#\|^$" /opt/kafka/config/zookeeper.properties
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/zookeeper/
dataLogDir=/data/zk/zkdatalog/
clientPort=2181
maxClientCnxns=0
server.1=172.16.1.94:2888:3888
server.2=172.16.1.93:2888:3888
server.3=172.16.1.92:2888:3888
[root@kc-online-log-platform-001 config]# cat /data/zk/zookeeper/myid
1

9.1.2、kafka

[root@kc-online-log-platform-001 config]# cat /opt/kafka/config/server.properties
broker.id=0
listeners=PLAINTEXT://172.16.1.94:9092
host.name=172.16.1.94
port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs/
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.1.94:2181,172.16.1.93:2181,172.16.1.92:2181
zookeeper.connection.timeout.ms=6000

9.2、kc-online-log-platform-001

9.2.1、zookeeper

[root@kc-online-log-platform-002 ~]# grep -v "^#\|^$" /opt/kafka/config/zookeeper.properties
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/zookeeper/
dataLogDir=/data/zk/zkdatalog/
clientPort=2181
maxClientCnxns=0
server.1=172.16.1.94:2888:3888
server.2=172.16.1.93:2888:3888
server.3=172.16.1.92:2888:3888
[root@kc-online-log-platform-002 ~]# cat /data/zk/zookeeper/myid
2

9.2.2、kafka

[root@kc-online-log-platform-002 ~]# cat /opt/kafka/config/server.properties
broker.id=1
listeners=PLAINTEXT://172.16.1.93:9092
host.name=172.16.1.93
port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs/
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.1.94:2181,172.16.1.93:2181,172.16.1.92:2181
zookeeper.connection.timeout.ms=6000

9.3、kc-online-log-platform-001

9.3.1、zookeeper

[root@kc-online-log-platform-003 kafka]# grep -v "^#\|^$" /opt/kafka/config/zookeeper.properties
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/zookeeper/
dataLogDir=/data/zk/zkdatalog/
clientPort=2181
maxClientCnxns=0
server.1=172.16.1.94:2888:3888
server.2=172.16.1.93:2888:3888
server.3=172.16.1.92:2888:3888
[root@kc-online-log-platform-003 kafka]# cat /data/zk/zookeeper/myid
3

9.3.2、kafka

[root@kc-online-log-platform-003 kafka]# cat /opt/kafka/config/server.properties
broker.id=2
listeners=PLAINTEXT://172.16.1.92:9092
host.name=172.16.1.92
port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs/
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.1.94:2181,172.16.1.93:2181,172.16.1.92:2181
zookeeper.connection.timeout.ms=6000

十、启动

# 三台服务器执行如下命令：
nohup /opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties &
nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties &

十一、测试集群有效性

# 创建一个topic：fzh
kafka-topics.sh --create --zookeeper inte-zk-node-1:2181 --replication-factor 3 --partitions 1 --topic fzh
# 其它节点查看该topic是否存在：
kafka-topics.sh --describe --zookeeper kc-online-log-platform-001:2181 --topic fzh
kafka-topics.sh --describe --zookeeper kc-online-log-platform-002:2181 --topic fzh
kafka-topics.sh --describe --zookeeper kc-online-log-platform-003:2181 --topic fzh
创建一个topic，发现都能查到该topic，证明：集群成功。
# 查看topic信息：
./kafka-console-consumer.sh --bootstrap-server 172.16.1.94:9092 --topic kc-online-log --from-beginning

十二、filebeat

12.1、filebeat配置

[root@online-k8s2-master filebeat]# cat filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /mnt/online-data-4/thirdhub*/logs/app.log
    - /mnt/online-data-4/obc-stock-log/logs/app.log
  multiline:
    pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
    negate: true
    match: after
output.kafka:
  hosts: ["172.16.1.94:9092"]
  topic: "kc-online-log"

12.2、filebeat启动

./filebeat -c filebeat.yml

十三、logstash

13.1、logstash配置

[root@kc-online-log-platform-003 kafka]# cat /opt/logstash/config/logstash.conf 
input {
  kafka {
    bootstrap_servers => "172.16.1.93:9092"
    topics => ["kc-online-log"]
    codec => json
  }
}
filter {
    grok {
      match => { "message" => "%{USERNAME:day} %{NOTSPACE:time} %{NOTSPACE:threadid} %{LOGLEVEL:level} %{GREEDYDATA:msg}" }
    }
    grok {
      match => { "[log][file][path]" => ".*/%{USERNAME:app_name}/logs" }
    }
}
output {
  elasticsearch {
    hosts => "http://172.16.1.92:9200"
    index => "kc-online-log-%{+YYYY.MM.dd}"
  }
}

13.2、启动

[root@kc-online-log-platform-003 logstash]# ./bin/logstash -f config/logstash.conf

十四、kibana

[root@kc-online-log-platform-003 kibana]# cat docker-compose.yaml
version: '3'
services:
  kclog-kibana:
    image: docker.elastic.co/kibana/kibana:7.8.0
    container_name: kclog-kibana
    restart: always
    environment:
      elasticsearch.hosts: "http://172.16.1.93:9200"
      server.host: "0.0.0.0"
    volumes:
      - /data/elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    ports:
      - "5601:5601"
[root@kc-online-log-platform-003 kibana]# cat /data/elk/kibana/config/kibana.yml
server.name: kibana
server.host: "0.0.0.0"
elasticsearch.hosts: [ "http://172.16.1.92:9200" ]

十五、elasticsearch索引配置

在kibana上进行词语搜索时，经常会发现搜索的内容不准确，eg：搜索thread:"app-app1-app2"的时候，有app或app1或app2的thread都会被检索到，而我们实际想要的是只有"app-app1-app2"的thread信息。
查看索引mapping信息

curl -XGET "http://localhost:9200/kc-online-log-2020.06.21/_mapping"

用在线json分析工具分析10.1得到的结果：

curl -XPUT -H "Content-Type: application/json" "http://localhost:9200/_template/kc_online_log_template" -d '
{
    "index_patterns": ["kc-online-log-*"],
    "mappings": {
        "properties": {
            "app_name": {
                "type": "keyword"
            },
            "agent": {
                "properties": {
                    "hostname": {
                        "type": "keyword"    # 这个地方是解决问题的关键，至于template的结构书写，可以直接复制黏贴10.1得到的结果，根据实际情况来。
                    }
                }
            }
        }
    }
}'

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,222评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,455评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 157,720评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,568评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,696评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,879评论 1赞 290
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,028评论 3赞 409
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,773评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,220评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,550评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,697评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,360评论 4赞 332
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,002评论 3赞 315
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,782评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,010评论 1赞 266
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,433评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,587评论 2赞 350

elk环境搭建

一、说明

二、组件

三、参考链接：

四、服务器

五、JAVA JDK安装

六、目录结构

七、elasticsearch集群搭建

八、常用api

九、kafka+zookeeper集群

9.1、kc-online-log-platform-001

9.1.1、zookeeper

9.1.2、kafka

9.2、kc-online-log-platform-001

9.2.1、zookeeper

9.2.2、kafka

9.3、kc-online-log-platform-001

9.3.1、zookeeper

9.3.2、kafka

十、启动

十一、测试集群有效性

十二、filebeat

12.1、filebeat配置

12.2、filebeat启动

十三、logstash

13.1、logstash配置

13.2、启动

十四、kibana

十五、elasticsearch索引配置

推荐阅读更多精彩内容