1 主流分布式搜索引擎
1.1 Lucene
Lucense官网地址： http://lucene.apache.org
Lucene是一套用于全文检索和搜索的开放源码程序库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程序接口，能够做全文索引和搜索。Lucene是现在最受欢迎的免费Java信息检索程序库。
1.2 Solr
Solr官网地址：https://lucene.apache.org/solr/
Solr（读作“solar”）是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中标示[1]、分面搜索、动态聚类、数据库集成，以及富文本（如Word、PDF）的处理。Solr是高度可扩展的，并提供了分布式搜索和索引复制。Solr是最流行的企业级搜索引擎，[2]Solr 4还增加了NoSQL支持。[3]
Solr是用Java编写、运行在Servlet容器（如Apache Tomcat或Jetty）的一个独立的全文搜索服务器。 Solr采用了Lucene Java搜索库为核心的全文索引和搜索，并具有类似REST的HTTP/XML和JSON的API。 Solr强大的外部配置功能使得无需进行Java编码，便可对其进行调整以适应多种类型的应用程序。Solr有一个插件架构，以支持更多的高级定制。
因为2010年Apache Lucene和Apache Solr项目合并，两个项目是由同一个Apache软件基金会开发团队制作实现的。提到技术或产品时，Lucene/Solr或Solr/Lucene是一样的。
1.3 Elasticsearch
ElasticSearch官网地址：https://www.elastic.co/cn/elasticsearch/
Elasticsearch是一个基于Lucene库的搜索引擎。它提供了一个分布式、支持多租户的全文搜索引擎，具有HTTP Web接口和无模式JSON文档。Elasticsearch是用Java开发的，并在Apache许可证下作为开源软件发布。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。[5]根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr，也是基于Lucene。[6]
Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发。这三个产品被设计成一个集成解决方案，称为“Elastic Stack”（以前称为“ELK stack”）。
Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。[5]”Elasticsearch是分布式的，这意味着索引可以被分成分片，每个分片可以有0个或多个副本。每个节点托管一个或多个分片，并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。“[5]相关数据通常存储在同一个索引中，该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引，就不能更改主分片的数量。[7]
Elasticsearch使用Lucene，并试图通过JSON和Java API提供其所有特性。它支持facetting和percolating[8]，如果新文档与注册查询匹配，这对于通知非常有用。
另一个特性称为“网关”，处理索引的长期持久性；例如，在服务器崩溃的情况下，可以从网关恢复索引。[9]Elasticsearch支持实时GET请求，适合作为NoSQL数据存储[10]，但缺少分布式事务。[11]
2 ES核心术语
2.1 基础术语
Index
索引，包含了一堆有相似数据结构的文档数据，比如电影索引，一个索引包含很多document，一个索引就代表一类相似或者相同的document。
索引简单来说就相对于关系型数据库的库。
Type
类型，每个索引里可以有一个或者多个type，type是index的一个逻辑分类，例如建立电影的索引，电影可以分为多个type：科幻type、喜剧 type、魔幻type等等。每个type下的document中的field可能是不一样的。
类型简单来说就相对于关系型数据库的表。
Document
文档是信息的基本单元，一个document相当于一条数据，是可以被索引的，文档是以JSON的格式表现的。
文档相对于关系型数据库的行。
Field
字段，document由多个field组成，不同类型的document里面同名的field一定具有相同的类型。
Mapping
Mapping 类似于关系数据库的表结构定义 schema
2.2 集群相关
Near Realtime
近实时，有两层含义：
从写入数据到数据可以被搜索到有一个小延迟（大概是 1s）
基于 es 执行搜索和分析可以达到秒级
Cluster 集群
集群包含多个节点，每个节点属于哪个集群都是通过一个配置来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常。
Node 节点
Node 是集群中的一个节点，每个节点有一个唯一的名称，这个名称默认是随机分配的。默认节点会去加入一个名称为elasticsearch的集群。如果直接启动一堆节点，那么它们会自动组成一个 elasticsearch 集群，当然一个节点也可以组成 elasticsearch集群。
shard
单台机器无法存储大量数据，es 可以将一个索引中的数据切分为多个 shard，分布在多台服务器上存储。有了 shard 就可以横向扩展，存储更多数据，让搜索和分析等操作分布到多台服务器上去执行，提升吞吐量和性能。每个 shard 都是一个 Lucene index。
replica
任何一个服务器随时可能故障或宕机，此时 shard 可能就会丢失，因此可以为每个 shard 创建多个 replica 副本。replica 可以在 shard 故障时提供备用服务，保证数据不丢失，多个 replica 还可以提升搜索操作的吞吐量和性能。primary shard（建立索引时一次设置，不能修改，默认 5 个），replica shard（随时修改数量，默认 1 个），默认每个索引 10 个 shard，5 个 primary shard，5个 replica shard，最小的高可用配置，是 2 台服务器。
这么说吧，shard 分为 primary shard（主分片） 和 replica shard（备份节点）。而 primary shard 一般简称为 shard，而 replica shard 一般简称为 replica。
3 倒排索引
源数据
| 文档ID | 文档内容 |
|---|---|
| 1 | elasticsearch是最流行的搜索引擎 |
| 2 | php是世界上最好的语言 |
| 3 | 搜索引擎是如何诞生的 |
倒排索引
| 单词 | 文档ids | 词频TF:位置POS |
|---|---|---|
| elasticsearch | 1 | 1:1:<1> |
| 流行 | 1 | 1:1:<2> |
| 搜索引擎 | 1,3 | 1:1:<3>,3:1:<1> |
| php | 2 | 2:1:<1> |
| 世界 | 2 | 2:1:<2> |
| 最好 | 2 | 2:1:<3> |
| 语言 | 2 | 2:1:<4> |
| 如何 | 3 | 3:1:<2> |
| 诞生 | 3 | 3:1:<3> |
1:1:<3>,3:1:<1>代表的含义：
| DocId | TF | Position |
|---|---|---|
| 1 | 1 | 3 |
| 3 | 1 | 1 |
docId: 文档ID
TF: 代表分词项在某个点文档中出现的次数(term frequency)
Position: 某个单词的所有文档的文档列表及单词在该文档中出现的位置信息
倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项，都包含一个属性值和包含该属性值的各个记录地址。由于不是根据记录来确定属性，而是根据属性来确定记录的位置，所以称之为倒排索引。
4 相关信息
- 博文不易，辛苦各位猿友点个关注和赞，感谢
