ELK 简单介绍及linux安装

ELK是三个开源软件Elasticsercher、Logstash、Kibana的缩写,现在又增加一个 Beats 轻量级日志搜集工具用于在各种服务器上搜集日志后传给logstash。
ELK介绍及资源下载:https://www.elastic.co/cn/products

  • Elasticsearch 是一个基于 java lucene 开发的全文搜索服务器,提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web 接口。也是当前流行的企业级搜索引擎,能够达到近实时的搜索引擎,稳定、可靠、快速及安装方便。

  • Logstash 主要是用于日志的搜集、分析、过滤的工具,支持大量数据的获取方式。一般的是 c/s 工作架构,client安装在需要搜集日志的主机上,server负责将各client节点搜集到的日志,进行修改、过滤等工作,一并传到Elasticsearch服务器。

  • Kibana 是一个开源的分析和可视化的平台工具,提供搜索、查看和与存储在Elasticsearch索引中的数据进行交互的功能。开发人员和运维人员可以轻松的执行高级数据分析,并在各种图表、表格和地图中可视化数据。

总之:ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用。

linux中,简单安装 Elasticsearch 和 Kibana

下载的版本:elasticsearch-6.4.1.tar.gzkibana-6.4.1-linux-x86_64.tar.gz
修改 Elasticsearch 安装所需要的linux环境;

查看系统内核

ES 6.x 要求 Linux的内核要在 3.5+ 以上,内核查看命令 uname -a 如果不足 3.5 则需要升级内核;centos7内核升级如下

#注册内核
 rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
#下载内核安装包
 rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
#安装内核
 yum --enablerepo=elrepo-kernel install kernel-ml
#修改配置文件:
vim /etc/default/grub
#修改内容为 GRUB_DEFAULT 改为 0 ; 
GRUB_DEFAULT=0
#生成配置文件并且重启
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
sudo reboot
#重启后查看内核
uname -a 
修改应用创建文件的个数:

linux一般来说,限制应用最多创建65535个文件,但是Elasticserach要有至少创建65536个文件的权限,

vim /etc/security/limits.conf
#文件中增加下面两条:
* soft nofile 65536
* hard nofile 65536
修改进程开启线程的限制:

linux系统 默认 root 用户启动的进程可以开启无限个线程,其他用户开启的进程最多开启1024个线程。而Elasticsearch则要求最少开启线程为4096个,所以要修改默认配置。ES在 5.x版本后,强制不能使用root用户启动,所以必须其他用户启动ES。

vim /etc/security/limits.d/20-nproc.conf # 20-nproc.conf 也可能是其他文件,要查看自己的机器
# 如果不存在,则增加下面两条;
*          hard    nproc     4096
*          soft    nproc     4096
root       soft    nproc     unlimited
修改开辟虚拟内存:

Es需要开辟一个65536字节空间以上的虚拟内存,而linux默认不允许任何用户和应用开启虚拟内存。

 vim /etc/sysctl.conf
#在文件中增加下面内容:
vm.max_map_count=655360
#保存后,让修改后的文件生效
sysctl -p

安装Elasticsearch

解压 elasticsearch-6.4.1.tar.gz 到/usr/local/elk目录下

修改配置文件

vim /usr/local/elk/elasticsearch-6.4.1/config/elasticsearch.yml
#增加一条
network.host: 0.0.0.0
# 进入bin目录启动Elasticsearch
./elasticsearch
#出现下面错误
#Caused by: java.lang.RuntimeException: can not run elasticsearch as root
#说明是用root用户启动,应该改为其他用户启动,
#创建新用户
adduser elk
passwd elk
# 连续输入两次密码
#修改elasticsearch-6.4.1的所有者
chown -R elk.elk /usr/local/elk/elasticsearch-6.4.1
su elk
#启动 Elasticsearch
#测试启动成功
curl http://192.168.2.119:9200
也可以在本地浏览器访问:http://192.168.2.119:9200

安装Kibana

解压 kibana-6.4.1-linux-x86_64.tar.gz 到 /usr/local/elk 目录下

#修改config/kibana.yml
#增加一条: 
server.host: "0.0.0.0"
#用root启动就可以
#进入bin目录
 ./kibana 
#在浏览器查看:
http://192.168.209.129:5601

到此 Elasticsearch 和 Kibana 的 Linux版本 安装成功

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容