Eureka, Client, Ribbon之间的缓存和服务实时上下线实现思路分析

在使用Eureka做注册中心时,我平时遇到的最不爽问题,就是无法做到实时上下线。比如,我服务已经正常下线了,为什么上游还能调通?我服务已经上线了,为什么还有等"很久"才能真正被其他服务所"发现"?其实这些都是从Eureka到Client再到Ribbion这条链路中的逐级缓存造成的。

Eureka为什么要使用缓存

比如,对于Eureka来说,Eureka Client获取注册更新信息时,Eureka Server返回的数据其实是从一个默认每30s才更新的缓存获取的。也就是说,如果你服务下了一个,即使client是在服务下线之后发请求查询的注册列表,那这次请求也不会包括服务下线的信息。那么Eureka为什么要搞cache而不是实时的返回注册信息呢?我个人推测了一下,应该是为了在访问注册数据结构时尽量少加锁,从而提升单次请求时的性能。如果没有这层cache, 那么对于服务注册表这个数据结构来说,就会存在并发读写的情况,那就避免不了加锁保护。如果有cache, 是可以做到完全不加锁的。想一下,对于微服务架构来说,特点就是每个服务较轻,但服务数量较多。如果每个服务都定时请求eureka更新注册信息的话,对于Eureka Server来说,确实是可能会造成严重的锁竞争的。除了这个responseCache外,Eureka对于无心跳服务的清理也是默认每60s执行一次的,也就是说对于异常下线的服务(没有主动取消注册,而是中断了心跳),在Eureka Server端最大会有长达 60s + 30s * 3 = 150s的延迟。这里的30s * 3 是3个心跳的周期。

Eureka Client的缓存

Eureka Client默认会对注册信息做30s缓存 ,这个很好理解 ,因为我们当然不希望每次RPC都要重新查一次注册表,这是很浪费的。 这是常规操作,无可厚非。

Ribbon的缓存

这就有点诡异了。Ribbon向上对接Eureka Client, 向下对接实现发起HTTP请求的客户端。ribbon自身也是有30s缓存的,即ribbon会每30s向Eureka Client那里索要注册信息,注意是Eureka Client而不是Eureka Server,这样就更加剧了整个系统对服务上下线感知的延迟。我认为Ribbon这样设计,原因是考虑到了其上游不仅仅是Eureka Client, 还可能是配置文件,或者以编程的方式输入的注册列表,而这些查询是有可能比较耗时的。Ribbon为了兼容这些情况,不得不添加了缓存。

实时上下线思路

只能用消息中间件了。新做一个上下线管理服务,提供HTTP接口来上下线指定服务,当指定要下线A服务时,先向Eureka发请求,将此服务下所有的实例都删掉,然后再向kafka类似这样的消息系统中发一条消息,所有的微服务都要监听此消息队列。

服务收到下线消息时,将指定服务从本地Ribbon服务列表中删除。这里Ribbon的 Loadbalancer提供了markServerDown()方法可以使用,还是容易实现的。

服务收到上线消息时,需要将服务信息添加到Ribbon中,Ribbon虽然也提供了对应的方法,但是参数较为复杂,还需要研究一下。

这些功能可以直接打包成starter, 写好以后各服务直接引用即可。


2、Eureka Server端优秀的多级缓存机制

   eureka为了避免同时读写内存数据结构造成的并发冲突问题采用了多级缓存的机制:

在拉取注册表时会首从readonlyCacheMap缓存里查找,如果没有再从readWriteCacheMap查找,要是还没有找到就直接从内存找。 当注册表发生改变时,直接修改内存中的注册表同时会过滤掉readWriteCacheMap,但readonlyCacheMap不会进行过滤还可以访问,当到达30秒过后后台线程发现readWriteCacheMap被清空了,同时也会清空readonlyCacheMap。当下个请求进行访问readonlyCacheMap和readWriteCacheMap会重新从最新的内存注册表过更新数据,又达到了一致性。

总结:Eureka同时通过纯内存的注册表,保证了所有的请求都可以在内存处理,确保了极高的性能,另外多级缓存机制,确保了不会针对内存数据结构发生频繁的读写并发冲突操作,进一步提升性能。

原文链接:https://blog.csdn.net/neosmith/article/details/90213156

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,928评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,192评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,468评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,186评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,295评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,374评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,403评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,186评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,610评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,906评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,075评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,755评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,393评论 3 320
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,079评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,313评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,934评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,963评论 2 351

推荐阅读更多精彩内容