Elasticsearch 分词器、分页问题、批量文档操作

起因：在项目开发过程中，要使用到搜索引擎来对一些关键字实现逆向查询，如果仅用模糊搜索，那么搜索的时间会根据数据量的增大而增大，对比之下就学了elasticsearch，也记录一下，常常回顾。

1. ES如何对一个字段同时使用中文和拼音分词器

拼音分词器
ik中文分词

# 下载拼音分词器
# elasticsearch-analysis-pinyin-7.5.2.zip
# Github: elasticsearch-analysis-pinyin
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.5.2/elasticsearch-analysis-ik-7.5.2.zip

unzip elasticsearch-analysis-pinyin-7.5.2.zip -d /usr/local/elasticsearch/elasticsearch-7.5.2/plugins/pinyin

GET /_analyze
{
 "text":"艾编程",
 "analyzer":"pinyin"
}
# 需求场景：我们需要对一个字段既可以进行中文搜索，也可以进行拼音搜索
# index的常规设置mapping
# 一个字段可以给自己设置子字段来增加新的type和分词器
{
 "properties": {
 "id": {
 "type": "long"
 },
 "age": {
 "type": "integer"
 },
 "username": {
 "type": "keyword"
 },
 "nickname": {
 "type": "text",
 "analyzer": "ik_max_word",
 "fields": {
 "pinyin": {
 "type": "text",
 "analyzer": "pinyin"
 },
 "keyword":{
 "type":"keyword",
 "ignore_above": 256
 }
 }
 },
 "consume": {
 "type": "float"
 },
 "desc": {
 "type": "text",
 "analyzer": "ik_max_word"
 },
 "sex": {
 "type": "byte"
 },
 "birthday": {
 "type": "date"
 },
 "city": {
 "type": "keyword"
 },
 "faceimg": {
 "type": "text",
 "index": false
 }
 }
}
# 搜索的时候同时支持中文，拼音
GET /index_customer/_search
{
 "query":{
 "multi_match":{
 "query": "chuanzhang",
 "fields":["nickname","nickname.pinyin"]
 }
 }
}
# 在前端调用声明分词器
GET /index_customer/_search
{
 "query": {
 "match": {
 "nickname": {
 "query": "太阳",
 "analyzer": "ik_max_word"
 }
 }
 }
}

看elasticsearch里安装成功的插件

image-20200219203725366.png

2. Elasticsearch深度分页问题分析与解决

2.1. 什么是深度分页

深度分页就是我们搜索的深浅度，比如第1页，第2页，第100页都是比较浅的，如果第1w页，第2w页这就比较深。

先看一下MySQL

select * from im_order limit 100000,30;

这样就会非常慢，这就涉及深度分页，就会比较慢

慢的原因是什么：MySQL的limit m,n的工作原理是先读取符合where条件的m+n的记录，要把这些数据全拿到内存中，然后抛弃前m条，返回后面的n条，所以m越大，偏移量就越大，性能就越差，大部分ORM框架都是如此

select * from im_order where id>100000 limit 30;

但前提是：

主键id一定要连续，否则数据就会出现不连贯的情况
不好进行总页数的计算了，只能进行上一页和下一页的操作了
进行这样的优化，需要记住上次的点位

解决方案

上一页 1 2 3 4 5 6 7 8 9 10 下一页

2.2. Elasticsearch中深度分页的问题如何处理

GET /index_customer/_search
{
 "query": {
 "match_all": {}
 },
 "from":0,
 "size":12
}
GET /index_customer/_search
{
 "query": {
 "match_all": {}
 },
 "from":9999,
 "size":10
}
# Result window is too large, from + size must be less than or equal to: [10000] but was [10009]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting.

elasticsearch默认也不允许你查询10000条以后的数据

ES中每个分片存储不同的数据，所有分片总和是这个集群的完整数据
去每个分片上都要拿10009条，然后集合在一起，如果3个分片：3*10009条数据，针对30027进行排序_score，最终取到你想要的10条
因此ES默认不支持10000条以上的查询

如果恰巧你的数据就只有12000条

# 先看下这个属性
GET /index_customer/_settings
# 修改深度
PUT /index_customer/_settings
{
 "index.max_result_window": "20000"
}
# 注意，这种方式救急可以，但不要拿来常用，这是缓兵之计

2.3. 滚动搜索scroll

介绍一个滚动搜索

scroll可以先查询出一些数据，然后依次往下查询
在第一次查询的时候会有一个滚动id，这个id就是一个锚标记，每次都需要记录和使用这个锚标记
每次搜索都是基于历史的数据快照，查询数据期间，如果数据有变更，快照数据不变

如何使用

# 这个m就是滚动查询的上下文时间，m是分钟的意思
# 这是第一次查询，第一次查询需要设置偏移量：size就是页容量
POST /index_customer/_search?scroll=1m
{
 "query": {
 "match_all": {}
 },
 "sort": ["_doc"],
 "size": 3
}

第二次，第三次

# 第二次第三次滚动需要将每次返回的_scroll_id填入当次
# 滚动过程不用写查询条件了
# 不要写index名，直接写_search
# 1m是滚动数据的过期时间，每次都要设置，单位是m分钟
POST /_search/scroll
{
 "scroll": "1m",
 "scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAABcWc2d3clU2QzRSMXFvVjIySHdzZmgzUQ=="
}

如果请求指定了聚合数据（aggregation），仅第一次数据才会包含聚合结果

3. Elasticsearch进行批量文档操作

3.1. 批量查询doc

# 只查一个
GET /index_customer/_doc/1001
# 通过DSL可以进行批量查询
POST /index_customer/_search
{
 "query":{
 "ids":{
 "type":"_doc",
 "values":["1001","1009","1010"]
 }
 },
 "_source":["id","username","nickname","desc"]
}

使用_mget来进行查询

POST /index_customer/_doc/_mget
{
 "ids": ["1001","1009","1010"]
}

3.2. 批量操作bulk

基本语法

{ action: { metadata}}\n
{ request body       }\n
{ action: { metadata}}\n
{ request body       }\n
{ action: { metadata}}\n
{ request body       }\n
...

{ action: { metadata}}：代表批量操作的类型，可以新增，删除，修改
\n：每行必须是回车换行，不要用json解析器来格式
{ request body }：就是你的具体doc数据

批量操作的类型

action必须是以下选项之一

create：文档不存在则创建，存在则报错，但发生异常不会影响其他行的数据导入
index：文档不存在则创建，存在则覆盖
update：部分更新一个文档
delete：批量删除

3.3. create/index操作

# 不用加索引名，直接在路径里写_bulk
POST /_bulk
{"create":{"_index":"index_customer","_type":"_doc","_id":"1013"}}
{"id":1013,"age":30,"username":"wangge","nickname":"大哥就是棒","consume":16899.99,"desc":"就喜欢研究技术，非常喜欢和大家交流","sex":1,"birthday":"1990-10-22","city":"杭州","faceimg":"https://www.icodingedu.com/img/customers/1013/logo.png"}
{"create":{"_index":"index_customer","_type":"_doc","_id":"1014"}}
{"id":1014,"age":28,"username":"lichangming","nickname":"永远光明","consume":14899.99,"desc":"非常喜欢和大家交流Java技术和架构心得","sex":1,"birthday":"1992-09-22","city":"北京","faceimg":"https://www.icodingedu.com/img/customers/1014/logo.png"}

# 注意最后一行也必须有回车

POST /_bulk
{"index":{"_index":"index_customer","_type":"_doc","_id":"1013"}}
{"id":1013,"age":30,"username":"wangge","nickname":"大哥就是棒","consume":16899.99,"desc":"就喜欢研究技术，非常喜欢和大家交流","sex":1,"birthday":"1990-10-22","city":"杭州","faceimg":"https://www.icodingedu.com/img/customers/1013/logo.png"}
{"index":{"_index":"index_customer","_type":"_doc","_id":"1014"}}
{"id":1014,"age":28,"username":"lichangming","nickname":"永远光明","consume":14899.99,"desc":"非常喜欢和大家交流Java技术和架构心得","sex":1,"birthday":"1992-09-22","city":"北京","faceimg":"https://www.icodingedu.com/img/customers/1014/logo.png"}

也可以在index资源路径下来进行操作

POST /index_customer/_doc/_bulk
{"index":{"_id":"1013"}}
{"id":1013,"age":30,"username":"wangge","nickname":"大哥就是棒","consume":16899.99,"desc":"就喜欢研究技术，非常喜欢和大家交流","sex":1,"birthday":"1990-10-22","city":"杭州","faceimg":"https://www.icodingedu.com/img/customers/1013/logo.png"}
{"index":{"_id":"1014"}}
{"id":1014,"age":28,"username":"lichangming","nickname":"永远光明","consume":14899.99,"desc":"非常喜欢和大家交流Java技术和架构心得","sex":1,"birthday":"1992-09-22","city":"北京","faceimg":"https://www.icodingedu.com/img/customers/1014/logo.png"}

3.4. update/delete操作

批量更新

POST /index_customer/_doc/_bulk
{"update":{"_id":"1013"}}
{"doc":{"nickname":"一只花骨朵"}}
{"update":{"_id":"1014"}}
{"doc":{"desc":"对架构师课程感兴趣，所以报名艾编程学习"}}

批量删除

POST /index_customer/_doc/_bulk
{"delete":{"_id":"1013"}}
{"delete":{"_id":"1014"}}

所有批量的操作：create、index、update、delete都可以放在一起执行

需要注意的点

由于批量操作是加载到内存中的，如果值比较多，会比较慢
所有操作在一起只需符合语法规则，内容可以多样

不要以为每天把功能完成了就行了，这种思想是要不得的，互勉~！