ELK经典架构之Elasticsearch

版本选择

elasticsearch-5.6.15.tar.gz

Elasticsearch三机集群搭建

ELK1机(ip:10.10.61.205)

Elasticsearch安装

第1、2、3步类似Logstash安装。
  1. 配置elasticsearch.yml



    elasticsearch.yml详情,如下代码块:

#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
# 集群名
 cluster.name: elk
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
# 节点名
 node.name: elk1
#
# Add custom attributes to the node:
# 指定节点的部落属性,这是一个比集群更大的范围。
 node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
# 这一部分是关于数据和日志的存放路径的,这两个设置十分重要,因为比如要进行版本升级,如果程序与数据分离,将非常容易实现。程序的崩溃也不影响数据。
# 如果不配置这两项,这两个目录将在ES的主目录下创建。
#path.data: /path/to/data
#
# Path to log files:
#
#path.logs: /path/to/logs
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#启动后是否锁定内存,提高ES的性能。
 bootstrap.memory_lock: false
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
# 本机地址
 network.host: 10.10.61.205
#
# Set a custom port for HTTP:
# http端口
 http.port: 9200
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when new node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
 discovery.zen.ping.unicast.hosts: ["10.10.61.205", "10.10.61.158","10.10.61.238"]
#
# Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 + 1):
# 为防止"脑裂",此处数值填(集群主机数量/2+1) 
 discovery.zen.minimum_master_nodes: 2
#
# For more information, consult the zen discovery module documentation.
#
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
#gateway.recover_after_nodes: 3
#
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true

ELK2机(ip:10.10.61.158)

在ELK1机配置基础上修改node.name、network.host两处即可。

ELK3机(ip:10.10.61.238)

在ELK1机配置基础上修改node.name、network.host两处即可。

  1. Elasticsearch集群运行
    1. ELK1机Elasticsearch前台启动
      ./elasticsearch

      异常1现象:
      [WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [elk1] uncaught exception in thread [main]
      org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

      异常1原因:
      Elasticsearch只能使用非root用户启动。
      异常1解决:
      创建用户
      adduser elk1
      passwd elk1
      系统会判断密码强度,不过可以强行忽略。

      异常2现象:
      main ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")

      异常2原因:
      当前用户不是Elasticsearch文件夹的拥有者。
      异常2解决:
      将Elasticsearch文件夹的拥有者改为当前用户。
      chown -R elk1 /usr/elasticsearch-5.6.15/

      异常3现象
      ERROR: [2] bootstrap checks failed
      [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]。
      [2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]。
      异常3原因
      [1]:对于elasticsearch进程,max文件描述符[4096]过低,至少增加到[65536]。
      [2]:最大虚拟内存区域vm.max_map_count[65530]太低,至少增加到[262144]。
      异常3解决
      [1]
      vim /etc/security/limits.conf

      limits.conf末尾添加下面代码块中内容:
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096


[2]
当前环境设置
sysctl -w vm.max_map_count=262144

设置查询
sysctl -a|grep vm.max_map_count

写入配置
vim /etc/sysctl.conf

sysctl.conf文末添加如下代码块:
vm.max_map_count=262144

ELK1机Elasticsearch前台启动成功

  1. ELK1机Elasticsearch前台停止
    按组合键ctrl+c即可停止Elasticsearch运行。
  2. ELK1机Elasticsearch后台启动
    ./elasticsearch -d
  3. ELK1机Elasticsearch进程查询
    ps -ef|grep elasticsearch
  4. ELK1机Elasticsearch后台停止
    kill -9 14377
    14377为上步查询出的pid。
  5. ELK2机、ELK3机同ELK1机方式运行
  6. 获取集群中节点列表
    10.10.61.205:9200/_cat/nodes?v
  7. 集群健康检查
    curl '10.10.61.205:9200/_cat/health?v'
  8. 获取ElasticSearch索引
    curl '10.10.61.205:9200/_cat/indices?v'
  9. 查看ELK集群中cluster的状态
    10.10.61.205.9200/_cluster/stats
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,634评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,951评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,427评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,770评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,835评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,799评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,768评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,544评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,979评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,271评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,427评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,121评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,756评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,375评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,579评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,410评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,315评论 2 352

推荐阅读更多精彩内容