ELK Stack 7.3.0构建多系统多用户安全认证日志平台(二)

Elasticsearch 集群搭建,操作系统Linux centos7
三台机器:
192.168.137.55
192.168.137.56
192.168.137.57

1、192.168.137.55这台机器Elasticsearch 安装,进入安装目录/usr/local/elkstack,先下载安装包

cd /usr/local/elkstack
Curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.0-linux-x86_64.tar.gz

2、解压下载后的安装包

tar -zxvf elasticsearch-7.3.0-linux-x86_64.tar.gz

3、由于Elasticsearch可以接收用户输入的脚本并且执行,所以为了系统的安全考虑,一般是不以root用户启动,这里新创建一个用户elkstack。

创建用户
adduser elkstack
给新创建的用户设置密码
passwd elkstack 输入密码

4、新用户elkstack创建好之后,进行赋权

chown -R elkstack /usr/local/elkstack/elasticsearch-7.3.0
赋权之后切换到新创建用户
su elkstack

5、192.168.137.55 elasticsearch-7.3.0/config/elasticsearch.yml配置文件

cluster.name: my-elkcluster #集群名称
node.name: esmaster #当前节点的名称
path.data: /usr/local/elkstack/elasticsearch-7.3.0/data #es数据保存目录
path.logs: /usr/local/elkstack/elasticsearch-7.3.0/logs #es日志文件目录
network.host: 192.168.137.55
http.port: 9200
discovery.seed_hosts: ["192.168.137.55", "192.168.137.56", "192.168.137.57"] #es集群节点host
cluster.initial_master_nodes: ["esmaster","esnode1","esnode2"] #集群启动前可以选举为master的节点

6、将192.168.137.55这台机器的elasticsearch-7.3.0整个文件目录复制到另外两台机器192.168.137.56、192.168.137.57,这台机器需要和第一台机器55一样要创建elkstack用户,创建命令参考上面即可。

scp -r elasticsearch-7.3.0 elkstack@192.168.137.56:/usr/local/elkstack/
scp -r elasticsearch-7.3.0 elkstack@192.168.137.57:/usr/local/elkstack/

7、192.168.137.56 elasticsearch-7.3.0/config/elasticsearch.yml配置文件

cluster.name: my-elkcluster #集群名称
node.name: esnode1 #当前节点的名称
path.data: /usr/local/elkstack/elasticsearch-7.3.0/data #es数据保存目录
path.logs: /usr/local/elkstack/elasticsearch-7.3.0/logs #es日志文件目录
network.host: 192.168.137.56
http.port: 9200
discovery.seed_hosts: ["192.168.137.55", "192.168.137.56", "192.168.137.57"] #es集群节点host
cluster.initial_master_nodes: ["esmaster","esnode1","esnode2"] #集群启动前可以选举为master的节点

8、192.168.137.57 elasticsearch-7.3.0/config/elasticsearch.yml配置文件

cluster.name: my-elkcluster #集群名称
node.name: esnode2 #当前节点的名称
path.data: /usr/local/elkstack/elasticsearch-7.3.0/data #es数据保存目录
path.logs: /usr/local/elkstack/elasticsearch-7.3.0/logs #es日志文件目录
network.host: 192.168.137.57
http.port: 9200
discovery.seed_hosts: ["192.168.137.55", "192.168.137.56", "192.168.137.57"] #es集群节点host
cluster.initial_master_nodes: ["esmaster","esnode1","esnode2"] #集群启动前可以选举为master的节点

9、配置文件都修改完毕后,以elkstack用户启动es,以第一台机器192.168.137.55为例

cd /usr/local/elkstack/elasticsearch-7.3.0
bin/elasticsearch
报错信息:
ERROR: [3] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
上面1、2两个错误的解决:
1、切换到 root 用户,编辑 /etc/security/limits.conf配置文件, 添加类似如下内容:
vi /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 65536
2、修改/etc/sysctl.conf文件,增加:
vm.max_map_count=327680
执行命令以下命令让配置生效
sysctl -p

10、针对上面启动两个错误,在另外两台机器也要进行相同的设置。设置好后,另外两台机器也以elkstack用户启动,在另外两个节点没有启动之前,第一个节点输出日志信息:无法选举master节点,至少再启动一个节点。

[2019-08-24T13:39:52,876][WARN ][o.e.c.c.ClusterFormationFailureHelper] [esmaster] master not discovered or elected yet, an election requires at least 2 nodes with ids from [OiSZkFloS8mMgRP6DtO8aA, czgBLnXURtWshyiQX42ZIg, Grk_jw0BTFas4MuZ2hZzXg], have discovered [{esmaster}{Grk_jw0BTFas4MuZ2hZzXg}{k2Tr8AHKQfmmbG_0tn3C4w}{192.168.137.55}{192.168.137.55:9300}{dim}{ml.machine_memory=1929015296, xpack.installed=true, ml.max_open_jobs=20}] which is not a quorum; discovery will continue using [192.168.137.56:9300, 192.168.137.57:9300] from hosts providers and [{esmaster}{Grk_jw0BTFas4MuZ2hZzXg}{k2Tr8AHKQfmmbG_0tn3C4w}{192.168.137.55}{192.168.137.55:9300}{dim}{ml.machine_memory=1929015296, xpack.installed=true, ml.max_open_jobs=20}] from last-known cluster state; node term 43, last-accepted version 267 in term 43

启动另外一个节点192.168.137.56后,55、56选举56为master

[2019-08-24T13:49:15,691][INFO ][o.e.c.s.ClusterApplierService] [esmaster] master node changed {previous [], current [{esnode1}{czgBLnXURtWshyiQX42ZIg}{NeaIegxNRxKfmBLmt8vY5g}{192.168.137.56}{192.168.137.56:9300}{dim}{ml.machine_memory=1929015296, ml.max_open_jobs=20, xpack.installed=true}]}, removed {{esnode1}{czgBLnXURtWshyiQX42ZIg}{5AJn867GR02ZCErmScPXBg}{192.168.137.56}{192.168.137.56:9300}{dim}{ml.machine_memory=1929015296, ml.max_open_jobs=20, xpack.installed=true},}, added {{esnode1}{czgBLnXURtWshyiQX42ZIg}{NeaIegxNRxKfmBLmt8vY5g}{192.168.137.56}{192.168.137.56:9300}{dim}{ml.machine_memory=1929015296, ml.max_open_jobs=20, xpack.installed=true},}, term: 48, version: 275, reason: ApplyCommitRequest{term=48, version=275, sourceNode={esnode1}{czgBLnXURtWshyiQX42ZIg}{NeaIegxNRxKfmBLmt8vY5g}{192.168.137.56}{192.168.137.56:9300}{dim}{ml.machine_memory=1929015296, ml.max_open_jobs=20, xpack.installed=true}}

启动第三个节点57,由于56已经被选举为master节点,57加入集群成node节点。
56节点的日志信息:

[2019-08-24T13:58:44,138][INFO ][o.e.c.s.MasterService ] [esnode1] node-join[{esnode2}{OiSZkFloS8mMgRP6DtO8aA}{zxdczh91Q62QvlY9N5UPSg}{192.168.137.57}{192.168.137.57:9300}{dim}{ml.machine_memory=1929015296, ml.max_open_jobs=20, xpack.installed=true} join existing leader], term: 48, version: 288, reason: added {{esnode2}{OiSZkFloS8mMgRP6DtO8aA}{zxdczh91Q62QvlY9N5UPSg}{192.168.137.57}{192.168.137.57:9300}{dim}{ml.machine_memory=1929015296, ml.max_open_jobs=20, xpack.installed=true},}

55节点的日志信息:

[2019-08-24T13:59:55,047][INFO ][o.e.c.s.ClusterApplierService] [esmaster] added {{esnode2}{OiSZkFloS8mMgRP6DtO8aA}{zxdczh91Q62QvlY9N5UPSg}{192.168.137.57}{192.168.137.57:9300}{dim}{ml.machine_memory=1929015296, ml.max_open_jobs=20, xpack.installed=true},}, term: 48, version: 288, reason: ApplyCommitRequest{term=48, version=288, sourceNode={esnode1}{czgBLnXURtWshyiQX42ZIg}{NeaIegxNRxKfmBLmt8vY5g}{192.168.137.56}{192.168.137.56:9300}{dim}{ml.machine_memory=1929015296, ml.max_open_jobs=20, xpack.installed=true}}

11、查看每台机器的elasticsearch是否正常启动,直接通过浏览器访问
http://192.168.137.55:9200

{
"name" : "esmaster",
"cluster_name" : "my-elkcluster",
"cluster_uuid" : "1gvR7wetT4yMyAfo_gKL4A",
"version" : {
"number" : "7.3.0",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "de777fa",
"build_date" : "2019-07-24T18:30:11.767338Z",
"build_snapshot" : false,
"lucene_version" : "8.1.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
显示如上信息,说明elasticsearch启动成功.

12、查看集群信息:http://192.168.137.55:9200/_cluster/health?pretty

{
"cluster_name" : "my-elkcluster",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 3,
"number_of_data_nodes" : 3,
"active_primary_shards" : 8,
"active_shards" : 16,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}
可以看到集群状态green,健康状态,节点总数3,数据节点数3

status 字段指示着当前集群在总体上是否工作正常。它的三种颜色含义如下:

green
  所有的主分片和副本分片都正常运行。
yellow
  所有的主分片都正常运行,但不是所有的副本分片都正常运行。
red
  有主分片没能正常运行。

大家在集群搭建的过程中,如果遇到问题,欢迎留言共同交流讨论。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,186评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,858评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,620评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,888评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,009评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,149评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,204评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,956评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,385评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,698评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,863评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,544评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,185评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,899评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,141评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,684评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,750评论 2 351

推荐阅读更多精彩内容