Elasticsearch的Query Cache 知识梳理

双十一来临,大家应该要对所有索引都做做健康检查了,由于最近压力上不去,所以盯上了Query Cache,由于之前Query Cache没有怎么注意,一直用的是默认配置,所以导致我发现cache的效率一直没上去。如下图,初步一看命中率50%+, Memory size 也没伤到预订大小,这里先不逐个字段解释,下面就以问答的形式来介绍一下这个query cache。

默认值的cache 状况

什么是Query Cache

简单来看可以这样理解,一个ES的查询会先被parse 成一系列的Lucene 的phrase,这些phrases 中的filter语句,如果对于查询条件是一样的时候,其实结果集是已定的,那么这些phrase 其实就是可以存放在一个地方当做cache用,这个就是 query cache。在ES里,这个是Node级别的配置,必须通过 yml配置里面去配置。


Query Cache 如何配置size 大小

如上图所示,如果默认的话,ES将会用10%的HEAP大小来存所有的Query Cache,这个配置必须通过yml文件来调整,但是从文章开头的截图可以出,我30G的HEAP最后只是使用了800MB的cache,为什么并不是配置的10%也就是3G呢?那就要看另外一个限制的配置

Query Cache配置最大个数

从截图中可以发现一个非常醒目的整数,这个就是另外一个限制条件,最大个数,这个同样是Node级别的,Query level,默认就是10000,就是说,不管size 有没有达到,数据到了10000,query cache也不会再增加了。
可以通过
indices.queries.cache.count=10000
的方式在yml配置


但是又有人会问,为什么我配置了10000,但是我还是会发现有超过10000的情况?比如:10123这样;
那就要看看下一个问题

Query Cache 的数据结构是怎么存的


简单来说ES的内部数据结构就是一个MAP,key就是一个具体的query,而value就是一个segment的 K/V, 而上面的10000的配置,只是Query 这个level,就是说真正的cache_size 是 Query size * segment nums, 如果你有2个segment,那么你看到的state数据很可能是cache_size:20000

为什么在文档没看到有这个cache.count的说明和配置?

看下图就明白了,其实如果看源代码的话你就知道怎么配了。。。


怎么判断哪些Query 会被cache

这个问题可以拆分成2个子问题:

  • 这个Query 会还是不会被cache
  • 这个Query请求多少次后会被cache

可以从UsageTrackingQueryCachingPolicy.java 这个类里面找答案;
其中第一个问题是


关于上面这几个Query 都不会被cache,对于第一个,TermQuery,官方的说法是从ES5开始,他们觉得从Term 的链表中去找数据已经足够快了,所以是不需要再去缓存了;其他的则是一些联合查询,或者嵌套查询,不应该把外层cache

对于第二个问题则可以看代码:



分两种,如果是Costly的query,则只需要访问2次就会被cache了。

为什么明明限制了cache.size,但是为什么dump出来发现cache的占用还是大于阈值

要回答这个问题就比较复杂了,简单一句话就是:要估算一个Query最终占用多少空间,其实是非常复杂的,如果对这个问题感兴趣,我建议必须真的一定务必要认真阅读一下下面这两个issue,你会受益匪浅的

query cache used memory calculating is not correct, which cause non-stopping old gc

Potential memory/cache problem in 5.5.2

那有办法避免cache过大OOM么?

目前来看如果你的查询真的非常复杂,真的很容易有cache 泄漏的话,那么最简单暴力的办法就是去减少cache.count,比如设置到1000(默认10000)
官方已经很贴心的帮你这么做了,如果你用的是下面以后的版本,那么你的默认cache.count是被设置成1000了



结尾

好了,如果你完成了这一系列的配置之后,剩下就是去观察你的GC频率,HEAP使用,还有query_cache的states了。
下面放出我的调优结果:


  • Memory size已经可以接近配置的3G
  • cache size 调成了30000
  • 命中率提升到75% 以上

希望大家双十一性能爆表!还有cache 的问题欢迎来聊。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容