ES深分页、浅分页

一、ES 的 from size(浅分页):

如果需要搜索分页,可以通过from size组合来进行。from表示从第几行开始,size表示查询多少条文档。from默认为0,size默认为10。

1、原理:

  • 客户端请求发给某个节点
  • 节点转发给个个分片,查询每个分片上的前10条
  • 结果返回给节点,整合数据,提取前10条
  • 返回给请求客户端

2、分析

例如现有一个索引T,该索引接收到了一个查询请求,查询第3页,页大小100(也就是想要排序后第三页的100条数据),即设置了 from = 300, size =100 参数。

 SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
    sourceBuilder.from((query.getPageNo() > 0 ? (query.getPageNo() - 1) : 0) * query.getPageSize());
    sourceBuilder.size(query.getPageSize());

假设索引T有三个分片,那么索引内部就会分别去三个分片里面,各召回 from + size = 300 + 100 = 400 个文档集合。

注意,这里有三个分片!所以一共召回了 400 * 3 = 1200 个文档到协调节点处。
从各个分片召回文档到内存后,协调节点结合全局信息进行一次排序,获取前400 的文档集;
最后,再基于这个 Top400 的文档集,从第300个文档起 (from) ,往后拿100个文档 (size)

这才是第3页,如果数据多时,我想查第200页的100条数据呢,共召回内存(20000+100)*3=......如果用户突然点到10000页呢....很明显,效率会低,内存也容易溢出。

3、限制

为了保护ES集群,防止单一请求数据集合过大,导致内存溢出,所以size的大小不能超过index.max_result_window这个参数的设置,默认为10,000(当然可以调整这个参数,但是治标不治本),单一请求数据大小一旦超过该阈值,便会出现如下报错,建议你去使用scroll:

Result window is too large, from + size must be less than or equal to: [10000] but was [500000]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting."

所以from size方式只适合数据量少的浅分页场景,单一请求数据集合小于10000的场景,但是实时分页查询。

二、scroll( 深分页)

1、原理:

scroll查询原理是在第一次查询的时候一次性生成一个快照,根据上一次的查询的id(这是一个base64编码的长字符串)来进行下一次的查询,这个就类似于游标。

2、分析:

因为快照没有更新最新的索引,在这个查询后的任何新索引进来的数据,都不会在这个快照中查询到,所以它不是“实时的”。

但是它相对于from和size,不是查询所有数据然后剔除不要的部分,而是记录一个读取的位置,保证下一次快速继续读取,所以性能高。所以可以用来查询数据量多的场景,甚至全部数据。

遍历时,从这个快照里取数据;
在遍历时候,拿到上一次遍历中的_scroll_id,然后带scroll参数,重复上一次的遍历步骤,直到返回的数据为空,表示遍历完成。
每次都要传参数scroll,刷新搜索结果的缓存时间,不要把缓存的时时间设置太长,占用内存。

3、限制

scroll不支持跳页查询。
使用场景:对实时性要求不高的查询

scroll支持排序,scroll-scan不支持排序,是按照索引顺序返回,可以提高查询效率。
scroll-scan第一次查询只支持返回id,没有结果。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,185评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,445评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,684评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,564评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,681评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,874评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,025评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,761评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,217评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,545评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,694评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,351评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,988评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,778评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,007评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,427评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,580评论 2 349

推荐阅读更多精彩内容