ES主要配置

path.data 和 path.log


这两个配置的目录分别用来存放索引数据和日志,它们的默认路径位于$_ES_HOME的子文件夹内。这样有很大风险,特别是在升级Elasticsearch版本时,这些数据很可能被删除,在生产环境中可参考下面的配置

path:
  logs: /var/log/elasticsearch
  data: /var/data/elasticsearch

另外path.data支持配置多个目录,每个目录都会用来存放数据,但是单个分片会存放在同一个目录内,多目录配置参考

path:
  data:
    - /mnt/elasticsearch_1
    - /mnt/elasticsearch_2
    - /mnt/elasticsearch_3

集群名称


默认情况下集群名为elasticsearch,为了区分不同集群,在生产环境需要进行修改。每个节点需要配置相同的集群名才能加入同一个集群中,且每个节点只能加入一个集群,要保证集群名相同,否则会加入错误的集群中。

cluster.name: test-cluster

节点名称


默认情况下节点名称是操作系统的主机名,在Linux下使用hostname -f可查看主机名。也可通过elasticsearch.yml 配置文件显示的配置,使可读性更好。配置示例如下

node.name: test-node

网络地址 network.host


默认配置下,Elasticsearch绑定的是一个环回地址127.0.0.1 ,这只适合在单机开发时使用。在正式环境中,为了保证该节点能够被其它节点找到,形成一个集群,需要设置一个非环回地址,如果在内网中部署集群,可通过ifconfig命令查看当前节点的内网ip地址。配置如下

network.host: 192.168.60.11

服务发现和集群形成设置


服务发现种子主机 discovery.seed_hosts


在开发环境中,服务发现主机名不需要设置,Elasticsearch默认会从本机的9300-9305端口尝试去连接其它节点,这提供了自动集群的体验,不需要任何配置。但在正式环境中,每个节点理论上都是不同的机器,这时候需要配置discovery.seed_hosts,discovery.seed_hosts可以是ip、ip:端口和域名。如果配置是ip,Elasticsearch默认会使用transport.profiles.default.port配置项的端口,该端口默认为9300;如果配置是域名,且该域名下绑定了多个ip,ES会尝试去连接多个ip。下面是配置示例

discovery.seed_hosts:
   - 192.168.1.10:9300
   - 192.168.1.11 
   - seeds.mydomain.com 

初始主节点 cluster.initial_master_nodes


当开启一个全新的集群时,会有一个集群的引导步骤,这步骤用来确定哪些节点参与第一次的主节点选举。在开发模式下,这个步骤由节点自动完成,这种模式本质上是不安全的,因为不是所有节点都适合做主节点,主节点关系到集群的稳定性。因此在生产模式下,集群第一次启动时,需要有一个适合作为主节点的节点列表,这个列表就是通过cluster.initial_master_nodes来配置,在配置中需要写出具体的节点名称,对应node.name配置项。配置示例如下

cluster.initial_master_nodes: 
   - master-node-a
   - master-node-b
   - master-node-c

设置堆内存容量


默认情况下,Elasticsearch中JVM堆内存的最小值和最大值为1GB,在生产模式下,堆内存容量是非常重要的,需要确保Elasticsearch有足够的堆内存可用。我们可以在jvm.options 配置文件中,通过配置Xmx 和Xms项来决定JVM堆内存容量,配置的容量本身也取决于服务器的物理内存,Xmx 和Xms的值不超过物理内存的50%。因为Elasticsearch除了堆内存,也会有其它的操作,比如使用堆外缓冲区进行网络通信,通过操作系统的文件系统缓存来访问文件,还有JVM自身也需要一些内存。对内存容量,最大可设置接近32GB,26GB是安全值,有些系统下可到达30GB。示例配置如下

-Xms2g 
-Xmx2g

操作系统配置


文件描述符


Linux默认配置下最大打开文件数为1024,可通过ulimit -n查看,而ES在建索引过程中会打开很多小文件,这样很容易超过限制,文件描述符临时设置命令如下

sudo su  
ulimit -n 65535 
su elasticsearch

永久设置可修改/etc/security/limits.conf文件

elasticsearch - nofile 65535

上面的配置表示设置elasticsearch用户下,打开文件描述符最大数量为65535。

禁止交换空间


Linux的交换空间机制是指,当内存资源不足时,Linux把某些页的内容转移至硬盘上的一块空间上,以释放内存空间。硬盘上的那块空间叫做交换空间(swap space)。如果不关闭swap,Elasticsearch的堆内存可能会被挤到磁盘中,垃圾回收速度会从毫秒级别变成分钟级别,导致节点的响应速度慢甚至和集群断开连接。有三种方式来避免交换空间发生

  1. 禁止所有交换空间
    在Linux上,临时关闭操作系统交换空间可执行下面命令
sudo swapoff -a

永久关闭需要修改/etc/fstab 文件。

  1. 配置swappiness
    修改 /etc/sysctl.conf文件,设置vm.swappiness = 1,可以使Linux在一般情况下不使用交换,除非万不得已。

  2. 使用内存锁
    使用内存锁可以在ES启动时,锁住一段堆内存,保证堆内存不被挤到磁盘中,对应Linux中的mlockall 系统调用,在ES中配置config/elasticsearch.yml 文件。配置如下

bootstrap.memory_lock: true

虚拟内存


Elasticsearch通过文件映射(mmap)来读取磁盘中的文件,这样可以比read系统调用少一次内存拷贝,也被称为0拷贝技术。ES映射的文件会很多,所以需要修改最大映射文件的数量,通过修改vm.max_map_count配置项可实现。临时修改可调用下面命令

sysctl -w vm.max_map_count=262144

要永久修改这个值,需要修改/etc/sysctl.conf文件,增加如下行

vm.max_map_count=262144

然后再运行sysctl -p 重新加载系统配置才会生效,最后运行sysctl vm.max_map_count命令检测设置是否生效。

设置线程


Elasticsearch中不同的操作有不同的线程池,为了确保Elasticsearch线程正常创建线程,需要设置操作系统的线程数限制。最小值为4096,可通过修改/etc/security/limits.conf来完成设置。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容