[转]Memcached过期策略问题追查

背景

线上热点数据几乎都存放在memcached里,采用的经典方案,优先从memcached获取数据,如果获取失败,再从MySQL获取,同时回填memcached。随着业务的飞速增长,数据量已经超过了memcached设置的最大内存,因为出现了内存置换出的情况,往往2天前的热点数据会被唤出,这也很正常。
因为新需求,缓存中需要存放新的数据。但是实际测试发现,缓存中的数据几分钟就会被失效,导致MySQL压力很大。
为什么同一个memcached的数据,有的缓存(后面简称为旧数据)要2天才会被置换出,有的缓存(后面简称新数据)几分钟就会被换出?

分析

首先分析新旧数据的不同:
1,key肯定不同
2,value大小上,旧数据value较大,新数据value很小
memcached是按照slabs作为内存单元来分配。新旧数据value差异较大,肯定位于不同的chunk里面。考虑到memcached内存已经占满,会不停置换内存。为什么总是新数据被置换出来,而旧数据不容易被置换呢?只能去看memcached的代码找寻答案。
主要代码位于memcached\items.c的do_item_alloc。参考这里,核心代码摘录如下:

item *do_item_alloc(char *key, const size_t nkey, const int flags,
                    const rel_time_t exptime, const int nbytes,
                    const uint32_t cur_hv)
{
  //.....
   /* Expired or flushed */
        if ((search->exptime != 0 && search->exptime < current_time)
            || (search->time <= oldest_live && oldest_live <= current_time)) {
            itemstats[id].reclaimed++;
            if ((search->it_flags & ITEM_FETCHED) == 0) {
                itemstats[id].expired_unfetched++;
            }
            it = search;
            slabs_adjust_mem_requested(it->slabs_clsid, ITEM_ntotal(it), ntotal);
            do_item_unlink_nolock(it, hv);
            /* Initialize the item block: */
            it->slabs_clsid = 0;
        } else if ((it = slabs_alloc(ntotal, id)) == NULL) {
            tried_alloc = 1;
            if (settings.evict_to_free == 0) {
                itemstats[id].outofmemory++;
            } else {
                itemstats[id].evicted++;
                itemstats[id].evicted_time = current_time - search->time;
                if (search->exptime != 0)
                    itemstats[id].evicted_nonzero++;
                if ((search->it_flags & ITEM_FETCHED) == 0) {
                    itemstats[id].evicted_unfetched++;
                }
                it = search;
                slabs_adjust_mem_requested(it->slabs_clsid, ITEM_ntotal(it), ntotal);
                do_item_unlink_nolock(it, hv);
                /* Initialize the item block: */
                it->slabs_clsid = 0;
                //.....
      }
  }
}

1, 首先从LRU队列中寻找是否有过期的item可用(代码7-17行)。需要说明的是,这里的LRU队列是每一chunk一个队列,而不是全局统一一个。
2,如果LRU没有过期数据,尝试初始化一个新的slab(代码18行),并分配给该chunk使用。
3,如果第二步失败(比如内存不够用了),则只能从LRU队列中淘汰最旧未使用的item了(代码23-34行)。
原因到此基本查明了,缓存数据的过期时间都没有设置,因此默认就是30天。这样当内存写满的情况下,分配一个item,前两步都不会满足,走到第三步。
对于旧数据,因为跑了很久,该chunk已经占用了很多的slabs,所以通过LRU置换,问题并不大。
对于新数据,因为value大小差异较大,自然用的是一个没多少slabs的chunk, 通过LRU置换,就会出现问题,导致频繁被置换。
可以想到,如果这时候重启了memcached,这样新旧数据会比较公平,一段时间后都会分配差不多的item(假设新旧数据使用频率差不多),这样LRU换出的话,问题也不大。

解决

1,重启memcached,解决这种新旧数据不公平的情况。
2,分配更大的memcached,避免出现换出。

后续

1,memcached可以使用stats 看evictions 的数据,如果不为0,说明此时memcached分配内存出现了换出。
2,如果数据使用频率差异很大,还是会发生这种情况。这时候就会麻烦一些,可以考虑分不同的memcached存储,或者预先用假数据预热缓存,目的就是占住LRU的位置。

转载地址

为了防止作者不再维护该页面,特地转载留存,原著链接:Memcached过期策略问题追查

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容