什么是正向索引、什么是倒排索引？
正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID）。例如“文档1”经过分词，提取了20个关键词，每个关键词都会记录它在文档中的出现次数和出现位置，得到正向索引的结构如下：
“文档1”的ID > 单词1：出现次数，出现位置列表；单词2：出现次数，出现位置列表；…………。
“文档2”的ID > 此文档出现的关键词列表。
当用户在主页上搜索关键词“华为手机”时，假设只存在正向索引（forward index），那么就需要扫描索引库中的所有文档，找出所有包含关键词“华为手机”的文档，再根据打分模型进行打分，排出名次后呈现给用户。因为互联网上收录在搜索引擎中的文档的数目是个天文数字，这样的索引结构根本无法满足实时返回排名结果的要求。
所以，搜索引擎会将正向索引重新构建为倒排索引，即把文件ID对应到关键词的映射转换为关键词到文件ID的映射，每个关键词都对应着一系列的文件，这些文件中都出现这个关键词，得到倒排索引的结构如下：
“关键词1”：“文档1”的ID，“文档2”的ID，…………。
“关键词2”：带有此关键词的文档ID列表。
Elasticsearch的核心概念
- Near Realtime（NRT）：近实时，两个意思，①从写入数据到数据可以被搜索到有一个小延迟（大概1s）；②基于es执行搜索和分析可以达到秒级
- Cluster：集群，包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常
- Node：节点，集群中的一个节点，节点也有一个名称（默认是随机分配的），节点名称很重要（在执行运维管理操作的时候），默认节点会去加入一个名称为“elasticsearch”的集群，如果直接启动一堆节点，那么他们会自动组成一个elasticsearch集群，一个节点也可以组成一个elasticsearch集群。
- Document：文档，es中的最小数据单元，一个document可以是一条客户数据，一条商品分类数据，一条订单数据，通常用JSON表示，每个index下的type中，都可以去存储多个document，一个document里面有多个field，每个field就是一个数据字段。
例如：
产品document：
{
"product_id": "1",
"product_name": "高露洁牙膏",
"product_desc": "高效美白",
"category_id": "2",
"category_name": "日化用品"
}
- Index：索引，包含一堆有相似结构的文档数据，比如可以有一个客户索引，商品分类索引，订单索引，索引有一个名称，一个index包含很多document，一个index就代表了一类类似的或者相同的document。比如建立一个product index，商品索引，里面可能就存放了所有的商品数据，所有的商品document。
- Type：类型，每个索引里都可以有一个或多个type，type是index中的一个逻辑数据分类，一个type下的document，都有相同的field，比如博客系统，有一个索引，可以定义用户数据type，博客数据type，评论数据type。
例如：
商品index，里面存放了所有的商品数据，商品document
但是商品分很多种类，每个种类的document的field可能不太一样，比如说电器商品，可能还包含一些诸如售后时间范围这样的特殊field；生鲜商品，还包含一些诸如生鲜保质期之类的特殊field
type，日化商品type，电器商品type，生鲜商品type
日化商品type：product_id，product_name，product_desc，category_id，category_name
电器商品type：product_id，product_name，product_desc，category_id，category_name，service_period
生鲜商品type：product_id，product_name，product_desc，category_id，category_name，eat_period
每一个type里面，都会包含一堆document
{
"product_id": "2",
"product_name": "长虹电视机",
"product_desc": "4k高清",
"category_id": "3",
"category_name": "电器",
"service_period": "1年"
},
{
"product_id": "3",
"product_name": "基围虾",
"product_desc": "纯天然，冰岛产",
"category_id": "4",
"category_name": "生鲜",
"eat_period": "7天"
}
- shard：单台机器无法存储大量数据，es可以将一个索引中的数据切分为多个shard，分布在多台服务器上存储。有了shard就可以横向扩展，存储更多数据，让搜索和分析等操作分布到多台服务器上去执行，提升吞吐量和性能。每个shard都是一个lucene index。
- replica：任何一个服务器随时可能故障或宕机，此时shard可能就会丢失，因此可以为每个shard创建多个replica副本，replica可以在shard故障时提供备用服务，保证数据不丢失。多个replica还可以提升搜索操作的吞吐量和性能。
CRUD操作
下面我们使用postman来发送请求。
新增
只通过上面一个命令就完成了创建一个名为test的索引，并且在索引下创建了一个名称为employee的类型，已经主键值为1的document，document的值为请求body中的json串。注意，使用postman的时候，要选上raw格式以及类型是json。
查询
- 查询type下的所有document
屏幕快照 2018-05-26 上午11.36.31.png
上面是查询指定的document，如果要获取type下的所有document,可以使用http://localhost:9200/test/employee/_search请求，即最后用_search替代主键值，获取到的数据格式如下：
{
"took": 63,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 2,
"max_score": 1,
"hits": [
{
"_index": "test",
"_type": "employee",
"_id": "2",
"_score": 1,
"_source": {
"first_name": "John",
"last_name": "Smith",
"age": 25,
"about": "I love to go rock climbing",
"interests": [
"sports",
"music"
]
}
},
{
"_index": "test",
"_type": "employee",
"_id": "1",
"_score": 1,
"_source": {
"first_name": "John",
"last_name": "Smith",
"age": 25,
"about": "I love to go rock climbing",
"interests": [
"sports",
"music"
]
}
}
]
}
}
- 使用查询字符串进行查询
此外还可以在请求中使用查询字符串进行条件查询：
http://localhost:9200/test/employee/_search?q=last_name:Smith我们在请求中依旧使用_search关键字，然后将查询语句传递给参数q=，这样我们就可以查到last_name中包含Smith的document。 -
使用DSL语句进行查询
另外，elasticsearch还支持使用DSL语句查询：
屏幕快照 2018-05-26 上午11.55.18.png
但是postman中并不支持使用get请求进行查询的时候在request body中添加查询条件，虽然http协议是支持get请求的body中加入查询参数的。当然这是难不倒我的，可以在mac自带的curl命令在终端去模拟这个请求：
curl -H "Content-Type:application/json" -X GET -d '{
"query" : {
"match" : {
"last_name" : "Smith"
}
}
}' http://localhost:9200/test/employee/_search
上述查询语句中使用了match语句进行查询
这样查询出的结果和使用查询字符串进行查询出来的结果是一样的：
{"took":82,"timed_out":false,"_shards":{"total":5,"successful":5,"skipped":0,"failed":0},"hits":{"total":1,"max_score":0.2876821,"hits":[{"_index":"test","_type":"employee","_id":"1","_score":0.2876821,"_source":{
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests": [ "sports", "music" ]
}}]}}
- 全文搜索
curl -H "Content-Type:application/json" -X GET "http://localhost:9200/test/employee/_search?pretty" -d '{
"query" : {
"match" : {
"about" : "rock"
}
}
}'
假设我们现在已经有两条数据，第一条的人是John Smith，他的about字段值是I love to go rock climbing，第二条的人是Jane Smith，他的about字段值是I love to go rock。
默认情况下，Elasticsearch根据结果相关性评分来对结果集进行排序，所谓的「结果相关性评分」就是文档与查询条件的匹配程度。很显然，排名第一的John Smith的about字段明确的写到“rock climbing”。
但是为什么Jane Smith也会出现在结果里呢？原因是“rock”在她的abuot字段中被提及了。因为只有“rock”被提及而“climbing”没有，所以她的_score要低于John。
这个例子很好的解释了Elasticsearch如何在各种文本字段中进行全文搜索，并且返回相关性最大的结果集。相关性(relevance)的概念在Elasticsearch中非常重要，而这个概念在传统关系型数据库中是不可想象的，因为传统数据库对记录的查询只有匹配或者不匹配。
- 短语搜索
如果我们想要查询同时包含"rock"和"climbing"（并且是相邻的）两个单词的document，则使用match_phrase语句进行短语搜索，请求如下：
curl -H "Content-Type:application/json" -X GET "http://localhost:9200/test/employee/_search?pretty" -d '{
"query" : {
"match_phrase" : {
"about" : "rock climbing"
}
}
}'
- 高亮字符串
很多应用喜欢从每个搜索结果中高亮(highlight)匹配到的关键字，这样用户可以知道为什么这些文档和查询相匹配之前的语句上增加highlight参数就可以实现：
curl -H "Content-Type:application/json" -X GET "http://localhost:9200/test/employee/_search?pretty" -d '{
"query" : {
"match_phrase" : {
"about" : "rock climbing"
}
},"highlight": {
"fields" : {
"about" : {}
}
}
}'
返回的json字符串如下：
{
"took" : 66,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 1,
"max_score" : 0.5753642,
"hits" : [
{
"_index" : "test",
"_type" : "employee",
"_id" : "1",
"_score" : 0.5753642,
"_source" : {
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests" : [
"sports",
"music"
]
},
"highlight" : {
"about" : [
"I love to go <em>rock</em> <em>climbing</em>"
]
}
}
]
}
}
返回结果中会有一个新的部分叫做highlight，这里包含了来自about字段中的文本，并且用<em></em>来标识匹配到的单词。
检查文档是否存在
在终端输入：curl -i -XHEAD http://localhost:9200/test/employee/1 可以检查document是否存在，如果存在，返回json如下：
Warning: Setting custom HTTP method to HEAD with -X/--request may not work the
Warning: way you want. Consider using -I/--head instead.
HTTP/1.1 200 OK
content-type: application/json; charset=UTF-8
content-length: 252
安装分词器
在es的bin目录下执行命令：
./elasticsearch-plugin install analysis-smartcn
来安装分词器analysis-smartcn,安装完后在plugins目录下就多了一个名为analysis-smartcn的目录，说明分词器插件已经安装好了。
接着我们使用postman发送一个请求：
返回结果如下：
{
"tokens": [
{
"token": "我",
"start_offset": 0,
"end_offset": 1,
"type": "word",
"position": 0
},
{
"token": "是",
"start_offset": 1,
"end_offset": 2,
"type": "word",
"position": 1
},
{
"token": "中国",
"start_offset": 2,
"end_offset": 4,
"type": "word",
"position": 2
},
{
"token": "人",
"start_offset": 4,
"end_offset": 5,
"type": "word",
"position": 3
}
]
}
可以看到分词器已经起效果了。
如果我们不使用分词器，则请求如下：
返回值为：
{
"tokens": [
{
"token": "我",
"start_offset": 0,
"end_offset": 1,
"type": "<IDEOGRAPHIC>",
"position": 0
},
{
"token": "是",
"start_offset": 1,
"end_offset": 2,
"type": "<IDEOGRAPHIC>",
"position": 1
},
{
"token": "中",
"start_offset": 2,
"end_offset": 3,
"type": "<IDEOGRAPHIC>",
"position": 2
},
{
"token": "国",
"start_offset": 3,
"end_offset": 4,
"type": "<IDEOGRAPHIC>",
"position": 3
},
{
"token": "人",
"start_offset": 4,
"end_offset": 5,
"type": "<IDEOGRAPHIC>",
"position": 4
}
]
}
可以看到返回值是单个中文分开的，从而从侧面突出了分词器的效果。
