elasticserach+logstash+kibana的使用

1、环境前期准备。

从elastic的官网https://www.elastic.co/cn/,分别下载 elasticsearch-6.1.2.zip 、 kibana-6.1.2-linux-x86_64.tar.gz 、 logstash-6.1.2.zip 到本地。

或者可以直接在这个百度网盘中下载,链接:https://pan.baidu.com/s/17IlI7bGTeU-wD2f1AEyyCA 密码:woa9

本次elk搭建是在cento 7.2 64 位的系统下面进行的,elastic+kibana 的ip 是 192.168.209.143 ,两个客户机分别是nginx日志192.168.209.144,

http日志:192.168.209.142

先将elastic+kibana 的软件上传到 143 的root目录上面,logstash 分别上传到144 和142 的root 上面。

143、144、142 都要配置好jdk环境,下载安装然后写入/etc/profile ,清楚防火墙配置,或者在143开放 9200 5601端口

set JAVA

JAVA_HOME=/usr/jdk
CLASSPATH=JAVA_HOME/lib/ PATH=PATH:/JAVA_HOME/bin CLASSPATH=.:JAVA_HOME/lib.tools.jar
export PATH JAVA_HOME CLASSPATH

优化好sysctl.conf 内核配置,添加下面一行

vm.max_map_count=655360

然后 执行 sysctl -p

2、elastic+kibana 的配置

分别将elastic和kibana 的文件包解压到新建的elk目录下面

image

配置好elastic的yml文件,只需要修改一个选项即可

image

配置kibana 的yml文件,只需要添加两项,定义好elastic的ip地址

server.host: "192.168.209.143"
elasticsearch.url: "http://192.168.209.143:9200"

image

3.启动elastic 和kibana

修改elastic的目录为普通用户,所有文件的权限都改成他,本次构建是使用新建的elk 用户来启动的。

image

然后让elk去启动elastic服务,如果直接用下面的命令启动,可能出现如下的报错。

image

登录elk用户,直接启动,就可以了。

image

去到kibana的目录下面执行nohup /elk/kibana-5.1.1/bin/kibana & ,就可以直接启动kibana服务

.
image

检查服务器端口是否正常开启

image

在本地执行代表elastic正常启动

image

执行192.168.209.143:5601 代表kibana正常启动

image

4、客户端142和143的logstash安装

在142上面上传解压logstash-6.1.2.zip ,然后拷贝到 /usr/local/下面,新建logstash.conf文件,内容如下

input{
file{
path =>"/var/log/httpd/access_log" ####这个是要在elastic上面显示的日志文件,具体地址,按实际日志文件存放位置定义
start_position=>"beginning"
}
}

filter{
grok{
match=>{
"message"=>"%{DATA:clientIp} - - [%{HTTPDATE:accessTime}] "%{DATA:method} %{DATA:requestPath} %{DATA:httpversion}" %{DATA:retcode} %{DATA:size} "%{DATA:fromHtml}" "%{DATA:useragent}""
}

remove_field=>"message"
}
date{
match=>["accessTime","dd/MMM/yyyy:HH:mm:ss Z"]
}
}

output{
elasticsearch {
hosts => "192.168.209.143:9200" ####这个是elastic的服务器地址
}
stdout{
codec=>rubydebug
}
}
然后启动logstash进程,nohup ./bin/logstash -f /usr/local/logstash/logstash.conf &

image

手动访问nginx或者httpd的业务输出大量的日志

5.验证elasticsearch+Logstash+kibana 成功与否

登录到kibana上面,一般要求你创建一个选项,下面的由于创建的时候未截图,所有没有数据,一般按照提示,第一个填 * ,然后下一步 ,

第二个选择
image

即可完成初次的配置。

image

最终显示的效果图如下,注意一点的是,右上角是查询搜索日志的时间范围,如你这个时间段内没有日志写入,那么kibana上面,无论搜索什么关键字,

都会显示找不到对应的结果,左边就是关键字填写的选项。

image
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,039评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,223评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,916评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,009评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,030评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,011评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,934评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,754评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,202评论 1 309
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,433评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,590评论 1 346
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,321评论 5 342
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,917评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,568评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,738评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,583评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,482评论 2 352

推荐阅读更多精彩内容