Elasticsearch之分布式特性

es支持集群模式，是一个分布式系统，其好处主要有两个：
- 增大系统容量，如内存、磁盘、使得es集群可以支持PB级别的数据
- 提高系统的可用性，即使部分节点停止服务，整个集群依然可以正常服务
es集群由多个es示例组成
- 不同的集群通过集群名来区分，可通过cluster.name 进行修改，默认为elasricsearch
- 每个es实例本质是一个JVM进程，且有自己的名字，通过node.name进行修改
Cluster State
es集群相关的数据称为 cluster state(集群状态)，主要记录信息如下：
- 节点信息，比如节点的名称、连接地址等
- 索引信息，比如索引名称、配置等
Cluster Health
通过如下api可以查看集群的健康状况，包括以下三种：
- green：健康状态，指所有的主副分片都正常分配
- yellow：指所有的主分片都正常分配，但是有副本分片未正常分配
- red：有主分片未分配

查看健康状态 API

响应

Master Node
- 可以修改cluster state 的节点称为 master 节点，一个集群只能有一个
Master Node - cluster state 存储在每个节点上，master 维护最新版本并同步给其他节点
- master节点是通过集群中所有节点选举产生，可以被选举的节点称为master-eligible节点，配置为：node.master: true
Coordinating Node
处理请求的节点为 coordinating 节点,该节点为所有节点的默认角色，不能取消
- 路由请求到正确的节点处理，比如创建索引的请求到master 节点
Data Node
存储数据的节点为 data节点，默认节点都是 data 类型，相关配置为：node.data: true
提高系统的可用性
1. 服务的可用性
- 2个节点的情况下，允许其中一个节点停止服务
2. 数据的可用性
- 引入副本(replication)解决
- 每个节点上都有完备的数据
增大系统的容量

分片数设置注意事项
分片数的设定很重要，需要提前规划好
- 过小会导致后续无法通过增加节点实现水平扩容
- 过大会导致一个节点上分布过多的分片，造成资源浪费，同时会影响查询性能
故障转移
集群由3个节点组成，如下图所示，此时的集群状态是 green

Cluster-1

node1 所在的机器宕机导致服务终止，此时集群会如何处理？

Cluster-2

node2 和 node3 发现 node1 无法响应一段时间后会发起master选举，比如这里选择 node2 为 master 节点，此时由于主分片P0下线，集群状态变为Red

Cluster-3
node2 发现主分片P0未分配，将R0提升为主分片。此时由于所有的主分片都正常分配，集群的状态变为Yellow

Cluster-4
node2 为 P0和P1生成新的副本，集群状态变为绿色

Cluster-5

集群文档创建的流程

创建流程
集群文档读取的流程

读取流程
脑裂问题
脑裂问题(split-brain)，是分布式系统中经典的网络问题，如下图所示：

脑裂

3个节点组成的集群，突然node1的网络和其他两个节点中断。

脑裂

node2与node3会重新选举master，比如node2成为了新的master，此时会更新cluster state, 同时node1自己组成集群后，也会更新cluster state，此时同一个集群有两个master，而且维护不同的cluster state ,网络恢复后无法选择正确的master。
解决方案
解决方案为仅在可选举master-eligible节点数大于等于quorum时才可以进行master选举
- quorum = master-eligible/2 + 1，例如3个节点时，quorum 为 2
- 设定 discovery.zen.minimum_master_nodes 为 quorum 即可避免脑裂问题。

脑裂