一、分布式系统的可用性与扩展性
1.高可用
- 服务可用性：允许有节点停止服务
- 数据可用性：部分节点丢失，不会丢失数据
2.可扩展性
- 请求量提升/数据不断增长（将数据分布到所有节点上）
3.ES分布式架构的好处
- 存储的水平扩容
- 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响
4.ES的分布式架构
- 不同的集群通过不同的名字区分，默认名字“elasticsearch”
- 通过配置文件修改，或者在命令行中
-E cluster.name=myes进行设定 - 一个集群可以有一个或者多个节点
二、节点
1.定义
节点是一个ES的实例，本质是一个Java进程，一台机器上可以 运行多个ES进程，但是生产环境一般建议一台机器上只运行一个ES实例
- 每一个节点都有名字，通过配置文件配置，或者启动的时候
-E node.name=mynode指定 - 每一个节点在启动之后，会分配 一个UID，保存在data目录下
2.Master-eligible nodes和Master Node
- 每个节点启动后，默认就是一个Master eligible节点
可以设置node.master:false禁止 - Master eligible节点可以参与选主流程，成为Master节点
- 当第一个节点启动时，它会将自己选举为Master节点
- 每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息
集群状态维护了一个集群中必要的信息：
- 所有的节点信息
- 所有的索引和其他相关的Mapping和Setting信息
- 分片的路由信息
任意节点都能修改信息会导致数据的不一致性
3.Data Node 和 Coordinating Node
- Data Node：可以保存数据的节点；负责保存分片数据，在数据扩展上起到了至关重要的作用
- Coordinating Node：负责接受Client请求，将请求分发到合适的节点，最终把结果汇集到一起
每个 节点都默认起到了Coordinating Node的职责
4.Hot 和 Warm Node
不同硬件配置的 Data Node ，用来实现 Hot & Warm 架构，降低集群部署的成本（硬件成本）
Hot机器选择较好的，Warn机器选择较差的
5.Machine Learning Node
负责跑机器学习的job，用来做异常检测
6.Tribe Node
Tribe Node连接到不同的ES集群，并且支持将这些集群当成一个单独的集群处理。
5.3开始使用 Cross Cluster Search
7.配置节点类型
开发环境中一个节点可以承担 多种角色
生产环境中，应该设置单一角色的节点（dedicated node）
| 节点类型 | 配置参数 | 默认值 |
|---|---|---|
| maste eligible | node.master | true |
| data | node.data | true |
| ingest | node.ingest | true |
| coordinating only | 无 | 每个节点默认都是coordinating节点。设置其他类型全部都为false |
| machine learning | node.ml | true（需enable x-pack） |
三、分片
一个索引可以存储超出单个节点硬件限制的大量数据。
比如，一个具有 10 亿文档数据的索引占据 1TB 的磁盘空间，而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，每一份就称之为分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。
分片很重要，主要有两方面的原因：
1）允许你水平分割 / 扩展你的内容容量。
2）允许你在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量。
至于一个分片怎样分布，它的文档怎样聚合和搜索请求，是完全由 Elasticsearch 管理的，对于作为用户的你来说，这些都是透明的，无需过分关心。
被混淆的概念是，一个 Lucene 索引 我们在 Elasticsearch 称作 分片 。
一个Elasticsearch 索引 是分片的集合。
当 Elasticsearch 在索引中搜索的时候， 他发送查询到每一个属于索引的分片(Lucene 索引)，然后合并每个分片的结果到一个全局的结果集。
1.主分片
用以解决数据水平扩展的问题。通过主分片，可以将数据分布在集群内的所有节点上
- 一个分片是一个运行的Lucene的实例
- 主分片数在索引创建时指定，后续不允许修改，除非Reindex
2.副本分片
用以解决数据高可用的问题。副本分片是主分片的拷贝
- 副本分片数可以动态调整
- 增加副本数可以在一定程度上提高服务的可用性（读取的吞吐量）
3.分片的设定
对于生产环境中分片的设定，需要提前做好容量规划
- 分片数设置过小
导致后续无法增加节点实现水平扩展
单个分片的数量太大，导致数据重新分配耗时 - 分片数设置过大，7.0开始默认主分片设置成1，解决了over-sharding的问题
影响搜索结果的相关性打分，影响统计结果的准确性
单个节点上过多的分片，会导致资源浪费，同时也会影响性能
4.集群健康状况
安装多个es
#start multi-nodes Cluster
bin/elasticsearch -E node.name=node0 -E cluster.name=hongcaixia -E path.data=node0_data
bin/elasticsearch -E node.name=node1 -E cluster.name=hongcaixia -E path.data=node1_data
bin/elasticsearch -E node.name=node2 -E cluster.name=hongcaixia -E path.data=node2_data
bin/elasticsearch -E node.name=node3 -E cluster.name=hongcaixia -E path.data=node3_data
GET _cluster/health
{
"cluster_name" : "hongcaixia",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 1,
"number_of_data_nodes" : 1,
"active_primary_shards" : 2,
"active_shards" : 2,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}
GET _cat/shards:
.kibana_1 0 p STARTED 3 11.3kb 172.18.0.4 es7_01
.kibana_task_manager 0 p STARTED 2 12.7kb 172.18.0.4 es7_01
