45.1 deep Paging 性能优化
- 深度分页性能问题
- ES中有个配置： index.max_result_window， 默认是10000条数据， 如果分页的数据超过10000， 就拒绝返回结果
- 深度分页的解决方案
- 方案一：用scroll遍历方式
- 方案二：search after 方式
45.2 利用scroll遍历方式
- scroll分为初始化和遍历两步， 初始化时将所有符合搜索条件的搜索结果缓存起来，可以理解为快照
- 在遍历时， 从这个快照中取数据， 也就是说在初始化后，对索引插入、删除、更新数据都不会影响遍历结果
- 初始化
- 后面跟的两个参数： scroll 代表缓存暂存时间， 其他的和普通search求相同
- 执行完命令后会返回一个_scroll_id， 用来下次去数据的时候使用
post /student/_search?scroll=1m&size=2
{
"query":{"match_all":{}}
}
- 遍历查询
- 这里的scroll_id是scroll初始化的唯一标识， 它可能是上一次遍历取回的_scroll_id或者是初始化返回的_scroll_id， 两个值应该是一样的
get /_search/scroll
{
"scroll":"1m",
"scroll_id":"上面初始化时返回的_scroll_id"
}
45.3 search after 方式
45.4 三种分页方式比较
大数据视频推荐：
腾讯课堂
CSDN
AIops智能运维机器学习算法实战
ELK入门精讲
AIOps智能运维实战
ELK7 stack开发运维
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通
