1. ELK6+kafka+filebeat基础安装

1、安装elasticsearch
1.) 关闭防火墙及SELinux

service iptables stop
chkconfig iptables off
chkconfig iptables --list
vim /etc/sysconfig/selinux
SELinux=disabled
setenforce 0

2.) 配置jdk环境
vim /etc/profile.d/java.sh

export JAVA_HOME=/home/admin/jdk1.8.0_172/
export PATH=$JAVA_HOME/BIN:$PATH
export CLASSPATH=.:$JAVA_HOME/lib.tools.jar
source /etc/profile.d/java.sh

3.)安装ElasticSearch6.x
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz
tar -zxvf elasticsearch-6.2.4.tar.gz -C /home/admin/project/elk
cd /home/admin/project/elkelasticsearch-6.2.4
vim config/elasticsearch.yml

cluster.name: yaoyao-test
node.name: node-1
path.data: /home/admin/project/elk/elasticsearch-6.2.4/data
path.logs: /home/admin/project/elk/elasticsearch-6.2.4/logs
bootstrap.memory_lock: false
network.host: 127.0.0.1
network.bind_host: 0.0.0.0
bootstrap.system_call_filter: false
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE
http.cors.allow-headers: "X-Requested-With, Content-Type, Content-Length, X-User"

4.)启动elasticsearch elasticsearch 不能在root 上启动
新建用户

useradd elk
passwd elk
chown -R elk.elk /home/admin/project/elk/elasticsearch-6.2.4
./bin/elasticsearch -d #后台启动
netstat -luntp |grep 9200 #查看监听端口9200
curl 10.2.151.203:9200

5.)启动常见错误

uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
问题原因：不能使用root用户启动
解决方法：切换要其他用户启动

unable to install syscall filter:
java.lang.UnsupportedOperationException: seccomp unavailable:
问题原因：其实只是一个警告，主要是因为你Linux版本过低造成的
解决方法：警告不影响使用，可以忽略

ERROR: bootstrap checks failed
memory locking requested for elasticsearch process but memory is not locked
问题原因：锁定内存失败
解决方法：切换到root用户，编辑limits.conf配置文件
vim /etc/security/limits.conf

hard nproc 65536
soft nproc 65536
hard nofile 65536
soft nofile 65536
max number of threads [1024] for user [es] is too low, increase to at least [2048]
原因：无法创建本地线程问题,用户最大可创建线程数太小
解决方案：切换到root用户，进入limits.d目录下，修改90-nproc.conf 配置文件
vim /etc/security/limits.d/90-nproc.conf

soft nofile 65536
soft nproc 65536
soft nproc 2048
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
原因：最大虚拟内存太小
解决方案：切换到root用户下，修改配置文件sysctl.conf
vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p

system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
问题原因：因为Centos6不支持SecComp
解决方法：在elasticsearch.yml中配置bootstrap.system_call_filter为false，注意要在Memory下面:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

2、elasticsearch-head插件安装
目的通过web界面来查看elasticsearch集群状态信息

1.)下载安装nodejs

wget https://nodejs.org/dist/v8.11.3/node-v8.11.3-linux-x64.tar.xz
tar -zxvf node-v8.11.3-linux-x64.tar.gz -C /home/admin/project/elk/
cd /home/admin/project/elk/
mv node-v8.11.3-linux-x64/node-v8.11.3

配置nodejs环境变量

vim /etc/profile.d/node.sh
export NODE_HOME=/home/admin/project/elk/node-v8.11.3
export PATH=$PATH:$NODE_HOME/bin
export NODE_PATH=$NODE_HOME/lib/node_modules
source /etc/profile.d/node.sh

#查看nodejs是否生效
[admin@localhost node-v8.11.3]$ node -v
v8.11.3
[admin@localhost node-v8.11.3]$ npm -v
5.6.0

2.)安装grunt

npm config set registry https://registry.npm.taobao.org
vim ~/.npmrc
registry=https://registry.npm.taobao.org
strict-ssl = false
npm install -g grunt-cli
#将grunt加入系统文件
ln -s /home/admin/project/elk/node-v8.11.3/lib/node_modules/grunt-cli/bin/grunt /usr/bin/grunt

3.)下载head二进制包

wget https://codeload.github.com/mobz/elasticsearch-head/zip/master
unzip elasticsearch-head-master.zip
cd elasticsearch-head-master
npm install
#如果速度较慢或安装失败，建议使用国内镜像
npm install --ignore-scripts -g cnpm --registry=https://registry.npm.taobao.org

4.)修改elasticserach配置文件
vi ./config/elasticsearch.yml

增加新的参数，这样head插件可以访问es
http.cors.enabled: true
http.cors.allow-origin: “*”

5.)修改Gruntfile.js配置
vim Gruntfile.js

port: 9100上面增加hostname地址
hostname: “0.0.0.0”,

6.)修改_site/app.js配置
vim _site/app.js

#localhost替换为IP地址
this.base_uri = this.config.base_uri || this.prefs.get(“app-base_uri”) || “http://localhost:9200”;

7.) 启动grunt

grunt server

如果启动成功，则可以直接使用后台运行，命令行可继续输入（但是如果想退出，则需要自己kill进程）

grunt server &
nohup grunt server & 
exit #后台启动

启动提示模块未找到

Local Npm module “grunt-contrib-jasmine” not found. Is it installed?
npm install grunt-contrib-jasmine #安装模块

3、安装kibana
1.)下载安装

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz
tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz -C /home/admin/project/elk/
cd /home/admin/project/elk/ kibana-6.2.4-linux-x86_64

2.)修改配置
vim config/kibana.yml

server.port: 5601
server.host: “IP"
elasticsearch.url: http://IP:9200

3.)启动kibana

nohup ./bin/kibana &

4、安装logstash
1.)下载安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz
tar -zxvf logstash-6.2.4.tar.gz -C /home/admin/project/elk/
cd /home/admin/project/elk/logstash-6.2.4

2.)新建模板,一定要注意格式
vim config/test.conf

input
{
  kafka
  {
    bootstrap_servers => "127.0.0.1:9092"
    topics => "tt1"
    codec => "json"
  }
}
output
{
    elasticsearch {
        #action => "index"
        hosts => ["127.0.0.1:9200"]
        index =>  "my_log"
        template => "/home/admin/project/elk/logstash-6.2.4/config/template/logstash.json"
        manage_template => false #关闭logstash自动管理模板功能
        template_name => "crawl" #映射模板的名字
        template_overwrite => true
     }


     if [level] == "ERROR" {
         elasticsearch {
            #action => "index"
            hosts => ["127.0.0.1:9200"]
            index =>  "mlog"
            template => "/home/admin/project/elk/logstash-6.2.4/config/template/logstash.json"
            manage_template => false #关闭logstash自动管理模板功能
            template_name => "crawl" #映射模板的名字
            template_overwrite => true
         }
     }
}

es 动态模版 logstash（/home/admin/project/elk/logstash-6.2.4/config/template/logstash.json）

{  
  "template" : "crawl-*",  
  "settings" : {  
   "index.number_of_shards": 5,  
   "number_of_replicas": 0    
  
},  
  "mappings" : {  
    "_default_" : {  
      "_all" : {"enabled" : true, "omit_norms" : true},  
      "dynamic_templates" : [ {  
        "message_field" : {  
          "match" : "message",  
          "match_mapping_type" : "string",  
          "mapping" : {  
            "type" : "string", "index" : "analyzed", "omit_norms" : true,  
            "fielddata" : { "format" : "disabled" }  
          }  
        }  
      }, {  
        "string_fields" : {  
          "match" : "*",  
          "match_mapping_type" : "string",  
          "mapping" : {  
            "type" : "string", "index" : "not_analyzed", "doc_values" : true  
          }  
        }  
      } ],  
      "properties" : {  
        "@timestamp": { "type": "date" },  
        "@version": { "type": "string", "index": "not_analyzed" },  
        "geoip"  : {  
          "dynamic": true,  
          "properties" : {  
            "ip": { "type": "ip" },  
            "location" : { "type" : "geo_point" },  
            "latitude" : { "type" : "float" },  
            "longitude" : { "type" : "float" }  
          }  
        }  
      }  
    }  
  }  
}

3.)启动logstash

nohup ./bin/logstash -f config/test.conf & 
# -f 指定配置文件

5、安装kafka
1.)下载安装

wget https://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar -zxvf kafka_2.11-1.0.0.tgz -C /home/admin/project/elk/
tar -zxvf zookeeper-3.4.14.tar.gz -C /home/admin/project/elk/
cd /home/admin/project/elk/kafka_2.11-1.0.0/

2.)修改kafka参数及启动

vim config/zookeeper.properties

dataDir=/tmp/zookeeper/data # 数据持久化路径
clientPort=2181 # 连接端口
maxClientCnxns=100 # 最大连接数
dataLogDir=/tmp/zookeeper/logs #日志存放路径
tickTime=2000 # Zookeeper服务器心跳时间，单位毫秒
initLimit=10 # 投票选举新leader的初始化时间。

启动zookeeper

./bin/zookeeper-server-start.sh config/zookeeper.properties

后台启动zookeeper

nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties &

3.)修改kafka参数及启动
vim config/server.properties

broker.id=0   #标识主机
port=9092    # 端口
listeners=PLAINTEXT://localhost:9092
advertised.listeners=PLAINTEXT://localhost:9092
host.name=10.2.151.203
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/logs/kafka   #kafka 接受消息的路径
num.partitions=2
num.recovery.threads.per.data.dir=1
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181  # zookeeper.connect 指定连接的zookeeper 集群地址
#zookeeper.session.timeout.ms=6000  #ZooKeeper的最大超时时间，就是心跳的间隔，若是没有反映，那么认为已经死了，不易过大
#zookeeper.connection.timeout.ms=6000#ZooKeeper的连接超时时间
zookeeper.sync.time.ms =2000  #zookeeper的follower同leader的同步时间

默认配置 advertised.listeners=PLAINTEXT://your.host.name:9092

修改为 advertised.listeners=PLAINTEXT://ip:9092

例：advertised.listeners=PLAINTEXT://192.168.244.128:9092

ip为服务器ip
hostname和端口是用来建议给生产者和消费者使用的，如果没有设置，将会使用listeners的配置，如果listeners也没有配置，将使用java.net.InetAddress.getCanonicalHostName()来获取这个hostname和port，对于ipv4，基本就是localhost了。
"PLAINTEXT"表示协议，可选的值有PLAINTEXT和SSL，hostname可以指定IP地址，也可以用"0.0.0.0"表示对所有的网络接口有效，如果hostname为空表示只对默认的网络接口有效。也就是说如果你没有配置advertised.listeners，就使用listeners的配置通告给消息的生产者和消费者，这个过程是在生产者和消费者获取源数据(metadata)。

启动kafka

./bin/kafka-server-start.sh config/server.properties

后台启动

nohup bin/kafka-server-start.sh config/server.properties &

4.)测试kafka

创建topic (test)

bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test

查看topic

bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181

启动生产进程测试

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

启动启动消费者进程

bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning
  1. 安装 kafka界面化工具：kafka-eagle
    注意：需要自己创建db库，导入到指定的位置
    https://www.jianshu.com/p/db9f37bb7f98
    kafka-eagle搭建 web无法访问：
    https://blog.csdn.net/Dreamy_zsy/article/details/105026083?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2

7、安装filebeat
1.)下载安装

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-linux-x86_64.tar.gz
tar –zxvf filebeat-6.2.4-linux-x86_64.tar.gz –C /home/admin/project/elk
cd /home/admin/project/elk/ filebeat-6.2.4-linux-x86_64

2.)配置filebeat
vim filebeat.yml


filebeat.prospectors:

# Each - is a prospector. Most options can be set at the prospector level, so
# you can use different prospectors for various configurations.
# Below are the prospector specific configurations.
- type: log

  enabled: true
  paths:
    - /home/filebeatlog/*.log
  fields:  ##添加字段
    serverip: "localhost"
    logtopic: "tt1"
 # scan_frequency: 1s

- type: log

  enable: true
  paths:
    - /home/topictest/*.log
  fields:
    serverip: "localhost"
    logtopic: "tt2"
 # scan_frequency: 1s


output.kafka:
  enabled: true
  hosts: ["127.0.0.1:9092"]
  topic: '%{[fields.logtopic]}' ##匹配fileds字段下的logtopic
  required_acks: 1
  compression: gzip
  max_message_bytes: 10000000

processors:
- drop_fields: # 不需要发送的字段
   fields: ["beat", "input", "source", "offset"]

logging.level: error

3）启动filebeat

nohup ./filebeat -e -c filebeat.yml &

常用的命令


1. 启动zookeeper&kafka

修改zookeeper参数  vim config/zookeeper.properties
修改kafka参数          vim config/server.properties
./bin/zookeeper-server-start.sh config/zookeeper.properties

#后台启动zookeeper
nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties &

 后台启动kafka
./bin/kafka-server-start.sh config/server.properties
nohup bin/kafka-server-start.sh config/server.properties &
2. 启动 filebeat
配置filebeat  vim filebeat.yml
nohup ./filebeat -e -c filebeat.yml &

3. 启动kafka-eagle
cd ../bin/
chmod +x ke.sh
./ke.sh start

4. 启动 ElasticSearch（必须切换到 非 root 用户下启动）
vim config/elasticsearch.yml 修改 eslasticsearch 配置
chown -R elk.elk /home/admin/project/elk/elasticsearch-6.2.4
./bin/elasticsearch -d #后台启动
netstat -luntp |grep 9200 #查看监听端口9200
curl 10.2.151.203:9200

5. 启动 grunt (elastic-header  elastic 的界面化工具，依赖grunt)
vim Gruntfile.js  修改grunt
grunt server &
nohup grunt server &  #后台启动

6. 启动kibana
nohup ./bin/kibana &

7. 启动logstash
nohup ./bin/logstash -f config/test.conf &  指定配置文件

创建topic (test)

bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test

查看topic

bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181

启动生产进程测试

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

启动启动消费者进程

bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning
  1. 启动 filebeat
配置filebeat  vim filebeat.yml
nohup ./filebeat -e -c filebeat.yml &

linux 配置参数过小的处理办法：
https://www.cnblogs.com/gentle-awen/p/10114759.html
转自https://blog.csdn.net/szchenchao/article/details/83008359

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 215,384评论 6赞 497
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 91,845评论 3赞 391
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 161,148评论 0赞 351
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 57,640评论 1赞 290
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 66,731评论 6赞 388
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,712评论 1赞 294
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,703评论 3赞 415
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,473评论 0赞 270
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,915评论 1赞 307
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,227评论 2赞 331
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,384评论 1赞 345
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,063评论 5赞 340
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,706评论 3赞 324
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,302评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,531评论 1赞 268
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,321评论 2赞 368
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,248评论 2赞 352