Elasticsearch-索引、文档、Rest API

一、数据格式

Elasticsearch 是面向文档型数据库，一条数据在这里就是一个文档。将 Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比：

Elasticsearch Mysql
Index Database
Type Table
Document Row
Fields Column

ES 里的 Index 可以看做一个库，而 Types 相当于表，Documents 则相当于表的行。
这里 Types 的概念已经被逐渐弱化，Elasticsearch 6.X 中，一个 index 下已经只能包含一个type，Elasticsearch 7.X 中, Type 的概念已经被删除了。

用 JSON 作为文档序列化的格式，比如一条用户信息：

{
 "name" : "John",
 "sex" : "Male",
 "age" : 25,
 "birthDate": "1990/05/01",
 "about" : "I love to go rock climbing",
 "interests": [ "sports", "music" ]
}

二、索引

一个索引就是一个拥有几分相似特征的文档的集合。
比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。
一个索引由一个名字来标识（必须全部是小写字母），并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。
在一个集群中，可以定义任意多的索引。
能搜索的数据必须索引，这样的好处是可以提高查询速度，比如：新华字典前面的目录就是索引的意思，目录可以提高查询速度。

{
    "shopping":{
        "aliases":{

        },
        "mappings":{

        },
        "settings":{
            "index":{
                "creation_date":"1614265373911",
                "number_of_shards":"1",
                "number_of_replicas":"1",
                "uuid":"eI5wemRERTumxGCc1bAk2A",
                "version":{
                    "created":"7080099"
                },
                "provided_name":"shopping"
            }
        }
    }
}
  • 每个索引都有自己的Mapping定义，用户定义包含的文档的字段名和字段类型
  • Shard体现了物理空间的概念，索引中的数据分散在Shard上
  • Mapping定义文档字段的类型
  • Setting定义不同的数据分布

1.创建索引

对比关系型数据库，创建索引就等同于创建数据库
向 ES 服务器发 PUT 请求 ： http://127.0.0.1:9200/shopping
请求后，服务器返回响应：

{
  "acknowledged"【响应结果】 : true, # true 操作成功
  "shards_acknowledged"【分片结果】 : true, # 分片操作成功
  "index"【索引名称】 : "shopping"
}

注意：创建索引库的分片数默认 1 片，在 7.0.0 之前的 Elasticsearch 版本中，默认 5 片

如果重复添加索引，会返回错误信息

2.查看索引

向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/_cat/indices?v
这里请求路径中的_cat 表示查看的意思， indices 表示索引，所以整体含义就是查看当前 ES服务器中的所有索引，就好像 MySQL 中的 show tables 的感觉，服务器响应结果如下:

image.png

3.查看单个索引

向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/shopping
查看索引向 ES 服务器发送的请求路径和创建索引是一致的。但是 HTTP 方法不一致。这里可以体会一下 RESTful 的意义.

{
  "shopping"【索引名】 : {
    "aliases"【别名】 : {},
    "mappings"【映射】 : {},
    "settings"【设置】 : {
    "index"【设置 - 索引】 : {
      "creation_date"【设置 - 索引 - 创建时间】 : "1614265373911",
      "number_of_shards"【设置 - 索引 - 主分片数量】 : "1",
      "number_of_replicas"【设置 - 索引 - 副分片数量】 : "1",
      "uuid"【设置 - 索引 - 唯一标识】 : "eI5wemRERTumxGCc1bAk2A",
        "version"【设置 - 索引 - 版本】 : {
          "created": "7080099"
      },
        "provided_name"【设置 - 索引 - 名称】 : "shopping"
      }
    }
  }
}

4.删除索引

向 ES 服务器发 DELETE 请求 ： http://127.0.0.1:9200/shopping

三、文档

一个文档是一个可被索引的基础信息单元，也就是一条数据。
文档以 JSON（Javascript Object Notation）格式来表示，而 JSON 是一个到处存在的互联网数据交互格式。
在一个 index/type 里面，可以存储任意多的文档。

1.定义

①ES是面向文档的，文档是所有可搜索数据的最小单位

  • 日志文件中的日志项
  • 一本电影的具体信息/一张唱片的详细信息
  • MP3播放器里的一首歌/一篇PDF文档中的具体内容

②文档会被序列化成JSON格式，保存在ES中

  • JSON对象由字段组成
  • 每个字段都有对应的字段类型（字符串/数值/布尔/日期/二进制/范围类型）

③每个文档都有一个UniqueID

  • 可以自己指定id
  • 通过ES自动生成

字段（Field）：相当于是数据表的字段，对文档数据根据不同属性进行的分类标识。

一篇文档包含了一系列字段。类似数据库中的一条记录

2.文档的元数据

元数据用于标注文档的相关信息

{
    "_index":"shopping",
    "_type":"_doc",
    "_id":"Xhsa2ncBlvF_7lxyCE9G",
    "_score":14.8789,
    "_source":{
        "year":1995,
        "@version":1,
        "genre":[
            "Adventure",
            "Animation",
            "Children"
        ]
    },
    "id":"1",
    "title":"Toy Story"
}
  • _index:文档所属的索引名
  • _type：文档所属的类型名
  • _id：文档唯一id
  • _source：文档的原始JSON数据
  • _all：整合所有字段内容到该字段，已被废除
  • _version:文档的版本信息
  • _score：相关性打分

3.创建文档

文档可以类比为关系型数据库中的表数据，添加的数据格式为 JSON 格式
向 ES 服务器发 POST 请求 ： http://127.0.0.1:9200/shopping/_doc

{
  "title":"小米手机",
  "category":"小米",
  "images":"http://www.baidu.com/xm.jpg",
  "price":3999.00
}

此处发送请求的方式必须为 POST，不能是 PUT，否则会发生错误

服务器响应结果如下：

{
  "_index"【索引】 : "shopping",
  "_type"【类型-文档】 : "_doc",
  "_id"【唯一标识】 : "Xhsa2ncBlvF_7lxyCE9G", #可以类比为 MySQL 中的主键，随机生成
  "_version"【版本】 : 1,
  "result"【结果】 : "created", #这里的 create 表示创建成功
  "_shards"【分片】 : {
    "total"【分片 - 总数】 : 2,
    "successful"【分片 - 成功】 : 1,
    "failed"【分片 - 失败】 : 0
},
  "_seq_no": 0,
  "_primary_term": 1
}

上面的数据创建后，由于没有指定数据唯一性标识（ID），默认情况下， ES 服务器会随机生成一个。

如果想要自定义唯一性标识，需要在创建时指定： http://127.0.0.1:9200/shopping/_doc/1

如果增加数据时明确数据主键，那么请求方式也可以为 PUT

4.查看文档

向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/shopping/_doc/1
查询成功后，服务器响应结果：

{
  "_index"【索引】 : "shopping",
  "_type"【文档类型】 : "_doc",
  "_id": "1",
  "_version": 2,
  "_seq_no": 2,
  "_primary_term": 2,
  "found"【查询结果】 : true, # true 表示查找到， false 表示未查找到
  "_source"【文档源信息】 : {
    "title": "华为手机",
    "category": "华为",
    "images": "http://www.baidu.com/hw.jpg",
    "price": 4999.00
  }
}

5.修改文档

新增文档一样，输入相同的 URL 地址请求，如果请求体变化，会将原有的数据内容覆盖。
向 ES 服务器发 POST 请求 ： http://127.0.0.1:9200/shopping/_doc/1
请求体内容为:

{
  "title":"华为手机",
  "category":"华为",
  "images":"http://www.baidu.com/hw.jpg",
  "price":4999.00
}

修改成功后，服务器响应结果：

{
  "_index": "shopping",
  "_type": "_doc",
  "_id": "1",
  "_version"【版本】 : 2,
  "result"【结果】 : "updated", # updated 表示数据被更新
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 2,
  "_primary_term": 2
}

修改字段
修改数据时，也可以只修改某一给条数据的局部信息
向 ES 服务器发 POST 请求 ： http://127.0.0.1:9200/shopping/_update/1
请求体内容为:

{
  "doc": {
    "price":3000.00
  }
}

6.删除文档

删除一个文档不会立即从磁盘上移除，它只是被标记成已删除（逻辑删除）
向 ES 服务器发 DELETE 请求 ： http://127.0.0.1:9200/shopping/_doc/1
删除成功，服务器响应结果

{
  "_index": "shopping",
  "_type": "_doc",
  "_id": "1",
  "_version"【版本】 : 4, #对数据的操作，都会更新版本
  "result"【结果】 : "deleted", # deleted 表示数据被标记为删除
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 4,
  "_primary_term": 2
}

条件删除文档
一般删除数据都是根据文档的唯一性标识进行删除，实际操作时，也可以根据条件对多条数据进行删除
向ES 服务器发 POST 请求 ： http://127.0.0.1:9200/shopping/_delete_by_query
请求体内容为：

{
  "query":{
    "match":{
      "price":4000.00
    }
  }
}

删除成功后，服务器响应结果：

{
  "took"【耗时】 : 175,
  "timed_out"【是否超时】 : false,
  "total"【总数】 : 2,
  "deleted"【删除数量】 : 2,
  "batches": 1,
  "version_conflicts": 0,
  "noops": 0,
  "retries": {
    "bulk": 0,
    "search": 0
  },
  "throttled_millis": 0,
  "requests_per_second": -1.0,
  "throttled_until_millis": 0,
  "failures": []
}

7.映射操作

有了索引库，等于有了数据库中的 database。
索引库(index)中的映射，类似于数据库(database)中的表结构(table)。
创建数据库表需要设置字段名称，类型，长度，约束等；
索引库也一样，需要知道这个类型下有哪些字段，每个字段有哪些约束信息，这就叫做映射(mapping)

创建映射:
向 ES 服务器发 PUT 请求 ： http://127.0.0.1:9200/student/_mapping
请求体内容为：

{
  "properties": {
    "name":{
      "type": "text",
      "index": true
    },
    "sex":{
      "type": "text",
      "index": false
  },
    "age":{
      "type": "long",
      "index": false
    }
  }
}

映射数据说明：

  • 字段名：任意填写，下面指定许多属性，例如： title、 subtitle、 images、 price
  • type：类型， Elasticsearch 中支持的数据类型非常丰富，说几个关键的：
    • String 类型，又分两种：
      • text：可分词
      • keyword：不可分词，数据会作为完整字段进行匹配
    • Numerical：数值类型，分两类
      • 基本数据类型： long、 integer、 short、 byte、 double、 float、 half_float
      • 浮点数的高精度类型： scaled_float
    • Date：日期类型
    • Array：数组类型
    • Object：对象
  • index：是否索引，默认为 true，也就是说你不进行任何配置，所有字段都会被索引。
    • true：字段会被索引，则可以用来进行搜索
    • false：字段不会被索引，不能用来搜索
  • store：是否将数据进行独立存储，默认为 false
    原始的文本会存储在_source 里面，默认情况下其他提取出来的字段都不是独立存储
    的，是从_source 里面提取出来的。当然你也可以独立的存储某个字段，只要设置
    "store": true 即可，获取独立存储的字段要比从_source 中解析快得多，但是也会占用
    更多的空间，所以要根据实际业务需求来设置。
  • analyzer：分词器，这里的 ik_max_word 即使用 ik 分词器.

查看映射
向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_mapping

索引映射关联
向 ES 服务器发 PUT 请求 ： http://127.0.0.1:9200/student1

{
    "settings":{

    },
    "mappings":{
        "properties":{
            "name":{
                "type":"text",
                "index":true
            },
            "sex":{
                "type":"text",
                "index":false
            },
            "age":{
                "type":"long",
                "index":false
            }
        }
    }
}

8.高级查询

Elasticsearch 提供了基于 JSON 提供完整的查询 DSL 来定义查询
查询所有文档：
向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_search

{
  "query": {
    "match_all": {}
  }
}
# "query"：这里的 query 代表一个查询对象，里面可以有不同的查询属性
# "match_all"：查询类型，例如： match_all(代表查询所有)， match， term ， range 等等
# {查询条件}：查询条件会根据类型的不同，写法也有差异

{
  "took【查询花费时间，单位毫秒】 " : 1116,
  "timed_out【是否超时】 " : false,
  "_shards【分片信息】 " : {
    "total【总数】 " : 1,
    "successful【成功】 " : 1,
    "skipped【忽略】 " : 0,
    "failed【失败】 " : 0
  },
  "hits【搜索命中结果】 " : {
    "total"【搜索条件匹配的文档总数】 : {
      "value"【总命中计数的值】 : 3,
      "relation"【计数规则】 : "eq" # eq 表示计数准确， gte 表示计数不准确
    },
    "max_score【匹配度分值】 " : 1.0,
    "hits【命中结果集合】 " : [
      。。。
    }
    ]
  }
}

匹配查询
match 匹配类型查询，会把查询条件进行分词，然后进行查询，多个词条之间是 or 的关系
向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_search

{
  "query": {
    "match": {
    "name":"zhangsan"
    }
  }
}

字段匹配查询
multi_match 与 match 类似，不同的是它可以在多个字段中查询。
向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_search

{
    "query":{
        "multi_match":{
            "query":"zhangsan",
            "fields":[
                "name",
                "nickname"
            ]
        }
    }
}

关键字精确查询
term 查询，精确的关键词匹配查询，不对查询条件进行分词。
向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query":{
        "term":{
            "name":{
                "value":"zhangsan"
            }
        }
    }
}

多关键字精确查询
terms 查询和 term 查询一样，但它允许你指定多值进行匹配。
如果这个字段包含了指定值中的任何一个值，那么这个文档满足条件，类似于 mysql 的 in
向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_search

{
    "query":{
        "terms":{
            "name":[
                "zhangsan",
                "lisi"
            ]
        }
    }
}

指定查询字段
默认情况下， Elasticsearch 在搜索的结果中，会把文档中保存在_source 的所有字段都返回。
如果我们只想获取其中的部分字段，我们可以添加_source 的过滤
向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_search

{
    "_source":[
        "name",
        "nickname"
    ],
    "query":{
        "terms":{
            "nickname":[
                "zhangsan"
            ]
        }
    }
}

过滤字段

{
    "_source":{
        "includes":[
            "name",
            "nickname"
        ]
    },
    "query":{
        "terms":{
            "nickname":[
                "zhangsan"
            ]
        }
    }
}

向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_search

{
    "_source":{
        "excludes":[
            "name",
            "nickname"
        ]
    },
    "query":{
        "terms":{
            "nickname":[
                "zhangsan"
            ]
        }
    }
}

组合查询
bool把各种其它查询通过must（必须 ）、 must_not（必须不）、 should（应该）的方式进行组合
向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_search

{
    "query":{
        "bool":{
            "must":[
                {
                    "match":{
                        "name":"zhangsan"
                    }
                }
            ],
            "must_not":[
                {
                    "match":{
                        "age":"40"
                    }
                }
            ],
            "should":[
                {
                    "match":{
                        "sex":"男"
                    }
                }
            ]
        }
    }
}

范围查询
range 查询找出那些落在指定区间内的数字或者时间。 range 查询允许以下字符

image.png

向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_search

{
    "query":{
        "range":{
            "age":{
                "gte":30,
                "lte":35
            }
        }
    }
}

模糊查询
返回包含与搜索字词相似的字词的文档。
编辑距离是将一个术语转换为另一个术语所需的一个字符更改的次数。这些更改可以包括：

  • 更改字符（box → fox）
  • 删除字符（black → lack）
  • 插入字符（sic → sick）
  • 转置两个相邻字符（act → cat）
    为了找到相似的术语， fuzzy 查询会在指定的编辑距离内创建一组搜索词的所有可能的变体或扩展。然后查询返回每个扩展的完全匹配。
    通过 fuzziness 修改编辑距离。一般使用默认值 AUTO，根据术语的长度生成编辑距离。
    向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_search 
{
    "query":{
        "fuzzy":{
            "title":{
                "value":"zhangsan"
            }
        }
    }
}

向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/student/_search

{
    "query":{
        "fuzzy":{
            "title":{
                "value":"zhangsan",
                "fuzziness":2
            }
        }
    }
}

四、类型（Type）

在一个索引中，可以定义一种或多种类型。
一个类型是索引的一个逻辑上的分类/分区，其语义完全由你来定。
通常，会为具有一组共同字段的文档定义一个类型。不同的版本，类型发生了不同的变化

版本 Type
5.x 支持多种 type
6.x 只能有一种 type
7.x 默认不再支持自定义索引类型（默认类型为：_doc）

五、RestAPI

image.png

Index 相关 API

#查看索引相关信息
GET kibana_sample_data_ecommerce

#查看索引的文档总数
GET kibana_sample_data_ecommerce/_count

#查看前10条文档，了解文档格式
POST kibana_sample_data_ecommerce/_search
{
}

#_cat indices API
#查看indices
GET /_cat/indices/kibana*?v&s=index

#查看状态为绿的索引
GET /_cat/indices?v&health=green

#按照文档个数排序
GET /_cat/indices?v&s=docs.count:desc

#查看具体的字段
GET /_cat/indices/kibana*?pri&v&h=health,index,pri,rep,docs.count,mt

#How much memory is used per index?
GET /_cat/indices?v&h=i,tm&s=tm:desc
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容