eureka(三)-注册中心之多级缓存机制

Eureka源码分析(2.1.4.Release)

首先源码切忌一行一行debug,需先了解eureka主要功能后,再分析其功能如何实现。


image.png

大家一定有疑问,eureka(一)-功能介绍与客户端之服务获取分析了客户端是通过发起restful请求给注册中心来获取服务列表的,那么注册中心即eureka服务端的服务列表数据是如何存储的?又是如何返回给客户端的?

eureka服务端的相关bean初始化

从EurekaServerAutoConfiguration出发(为什么会加载该配置类的bean?详情请看springboot自动装载

image.png

重点分析PeerAwareInstanceRegistry和EurekaServerContext。
PeerAwareInstanceRegistry的实现类为InstanceRegistry:

@Bean
    public PeerAwareInstanceRegistry peerAwareInstanceRegistry(
            ServerCodecs serverCodecs) {
        this.eurekaClient.getApplications(); // force initialization
        return new InstanceRegistry(this.eurekaServerConfig, this.eurekaClientConfig,
                serverCodecs, this.eurekaClient,
                this.instanceRegistryProperties.getExpectedNumberOfClientsSendingRenews(),
                this.instanceRegistryProperties.getDefaultOpenForTrafficCount());
    }

EurekaServerContext初始化,引入了上面提到的PeerAwareInstanceRegistry实例

@Bean
    public EurekaServerContext eurekaServerContext(ServerCodecs serverCodecs,
            PeerAwareInstanceRegistry registry, PeerEurekaNodes peerEurekaNodes) {
        return new DefaultEurekaServerContext(this.eurekaServerConfig, serverCodecs,
                registry, peerEurekaNodes, this.applicationInfoManager);
    }

再来看看EurekaServerContext上下文的初始化:
com.netflix.eureka.DefaultEurekaServerContext#initialize:

@PostConstruct
    @Override
    public void initialize() {
        logger.info("Initializing ...");
        //eureka服务端节点更新任务开启
        peerEurekaNodes.start();
        try {
            //注册中心初始化
            registry.init(peerEurekaNodes);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
        logger.info("Initialized");
    }

重点看看registry.init(peerEurekaNodes)的代码逻辑
com.netflix.eureka.registry.PeerAwareInstanceRegistryImpl#init:

    @Override
    public void init(PeerEurekaNodes peerEurekaNodes) throws Exception {
        this.numberOfReplicationsLastMin.start();
        this.peerEurekaNodes = peerEurekaNodes;
        //重点看这里,初始化response缓存
        initializedResponseCache();
        //开启续约阈值更新任务
        scheduleRenewalThresholdUpdateTask();
        initRemoteRegionRegistry();

        try {
            Monitors.registerObject(this);
        } catch (Throwable e) {
            logger.warn("Cannot register the JMX monitor for the InstanceRegistry :", e);
        }
    }

初始化流程图如下:


image.png

response缓存结构

终于到了本章的重点,接上文提到的initializedResponseCache()方法:初始化response缓存结构。

@Override
    public synchronized void initializedResponseCache() {
        if (responseCache == null) {
            responseCache = new ResponseCacheImpl(serverConfig, serverCodecs, this);
        }
    }
ResponseCacheImpl(EurekaServerConfig serverConfig, ServerCodecs serverCodecs, AbstractInstanceRegistry registry) {
        this.serverConfig = serverConfig;
        this.serverCodecs = serverCodecs;
        //是否使用只读模式的response缓存,默认为true
        this.shouldUseReadOnlyResponseCache = serverConfig.shouldUseReadOnlyResponseCache();
        //上文初始化的InstanceRegistry
        this.registry = registry;
        //responseCacheUpdateIntervalMs=30*1000,默认为30s
        long responseCacheUpdateIntervalMs = serverConfig.getResponseCacheUpdateIntervalMs();
        //读写缓存map,该map的结构为google的guava cache,暂不了解其原理。从方法中可大概猜测其作用
        this.readWriteCacheMap =
                CacheBuilder.newBuilder().initialCapacity(serverConfig.getInitialCapacityOfResponseCache())
                        .expireAfterWrite(serverConfig.getResponseCacheAutoExpirationInSeconds(), TimeUnit.SECONDS)//写入后,默认180s后过期
                        .removalListener(new RemovalListener<Key, Value>() {
                            @Override
                            public void onRemoval(RemovalNotification<Key, Value> notification) {
                                Key removedKey = notification.getKey();
                                if (removedKey.hasRegions()) {
                                    Key cloneWithNoRegions = removedKey.cloneWithoutRegions();
                                    regionSpecificKeys.remove(cloneWithNoRegions, removedKey);
                                }
                            }
                        })
                        //加载key的value值
                        .build(new CacheLoader<Key, Value>() {
                            @Override
                            public Value load(Key key) throws Exception {
                                if (key.hasRegions()) {
                                    Key cloneWithNoRegions = key.cloneWithoutRegions();
                                    regionSpecificKeys.put(cloneWithNoRegions, key);
                                }
                                //value值生成
                                Value value = generatePayload(key);
                                return value;
                            }
                        });
        //默认为true
        if (shouldUseReadOnlyResponseCache) {
            //responseCacheUpdateIntervalMs=30,默认每隔30s执行一次getCacheUpdateTask()
            timer.schedule(getCacheUpdateTask(),
                    new Date(((System.currentTimeMillis() / responseCacheUpdateIntervalMs) * responseCacheUpdateIntervalMs)
                            + responseCacheUpdateIntervalMs),
                    responseCacheUpdateIntervalMs);
        }

……忽略下半部分代码……

先来分析一下readWriteCacheMap的作用

  1. 写入180s后,元素过期。
  2. 通过generatePayload(key)生成value值。
    下面再来看看generatePayload(key)又是如何生成value的。如传入key为“ALL_APPS”
    private Value generatePayload(Key key) {
        Stopwatch tracer = null;
        try {
            String payload;
            switch (key.getEntityType()) {
                case Application:
                    boolean isRemoteRegionRequested = key.hasRegions();
                    if (ALL_APPS.equals(key.getName())) {
                        if (isRemoteRegionRequested) {
                            tracer = serializeAllAppsWithRemoteRegionTimer.start();
                            payload = getPayLoad(key, registry.getApplicationsFromMultipleRegions(key.getRegions()));
                        } else {
                            tracer = serializeAllAppsTimer.start();
                            //debug模式下,可知跑到这里获取value值。
                            payload = getPayLoad(key, registry.getApplications());
                        }
                    } 
   ……忽略下部分代码……
}

可知readWriteCacheMap的key是通过registry本地注册表获取到的(registry也是一个本地缓存)。即这里可以分析到,eureka有两层缓存,上层为读写缓存map,底层为registry注册表缓存。

跳出到ResponseCacheImpl初始化中的getCacheUpdateTask方法,从字面意思是更新缓存,那么它具体的实现逻辑是什么呢?

private TimerTask getCacheUpdateTask() {
        return new TimerTask() {
            @Override
            public void run() {
                logger.debug("Updating the client cache from response cache");
                for (Key key : readOnlyCacheMap.keySet()) {
                    if (logger.isDebugEnabled()) {
                        logger.debug("Updating the client cache from response cache for key : {} {} {} {}",
                                key.getEntityType(), key.getName(), key.getVersion(), key.getType());
                    }
                    try {
                        CurrentRequestVersion.set(key.getVersion());
                        Value cacheValue = readWriteCacheMap.get(key);
                        Value currentCacheValue = readOnlyCacheMap.get(key);
                        if (cacheValue != currentCacheValue) {
                            readOnlyCacheMap.put(key, cacheValue);
                        }
                    } catch (Throwable th) {
                        logger.error("Error while updating the client cache from response cache for key {}", key.toStringCompact(), th);
                    }
                }
            }
        };
    }

遍历只读map(readOnlyCacheMap)中的key,将readWriteMap对应的value值赋值到只读map里面,即readOnlyCacheMap定期从readWriteMap中更新value值。

response缓存初始化流程如下:


image.png

总结:从这里可以分析到eureka注册中心的response缓存一共有3层缓存,第一层为只读缓存,第二层为读写缓存,第三层为registry本地注册表缓存。只读缓存每30s拉取读写缓存的值,读写缓存写入180s后过期,如果要获取的key没有value值时,则通过registry注册表缓存获取数据。

response缓存结构是如何实现读功能的?

response缓存主要作用于客户端与eureka注册中心交互的时候。
从客户端向注册中心获取服务列表的功能中,可以分析出response缓存是如何实现读功能的。
获取服务列表时,服务端的运行流程如下:


image.png
  1. 默认读取只读map,如果只读map没有,则读取读写map,如果读写map也没有,就读取registry本地注册表缓存。
  2. registry本地注册表存储的是最新的服务列表数据。(registry的具体存储逻辑暂不深究)

问题:为什么这样设计?

这让我想起主从数据库的读写分离,数据库的读写分离是为了分摊主数据库服务器的读写压力。而eureka所设计的缓存级别无疑也是为了读写分离,因为在写的时候,如ConcurrentHashmap会持有桶节点对象的锁,阻塞同一个桶的读写线程。这样设计的话,线程在写的时候,并不会影响读操作,避免了争抢资源所带来的压力。

问题:该缓存结构如何保证最终一致性?
  1. 从只读map中获取key对应的值,如果只读map没有value值的时候,会从读写缓存里面获取,而读写缓存180s后过期,所以,它又会从本地注册表中获取到最新的实例信息。
  2. 只读map中会每30s遍历,将读写map里面的key赋值到只读map中。
问题:如果有新的实例注册,极端情况下难道要等读写缓存的key,180s后过期,才能获取到最新的服务列表数据吗?即在实例有变化的时候,服务端又是如何实现的?

服务端接受客户端注册

带着疑问,我们再来分析一下,服务端是如何实现客户端的注册操作的。
具体流程如下:(可以根据流程所提及到的方法进行分析,这里不把代码贴出来了)

结论:在接受客户端注册的时候,服务端会将读写缓存的key清掉,30s后只读缓存从读写缓存拉取数据的时候,该服务列表获取到的是最新的数据。如果客户端下线,同样地,读写缓存也会被清除掉。所以极端情况,最长30s后,客户端才能获取到最新的服务列表。

优点:

  1. 尽可能保证内存注册表数据不会出现频繁的读写冲突
  2. 保证对eureka服务端的请求读取的都是内存,性能高。

在以后的开发工作中,面对频繁的读写资源争抢的情况,也可以考虑采用多级缓存这种方案来设计系统。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,084评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,623评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,450评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,322评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,370评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,274评论 1 300
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,126评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,980评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,414评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,599评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,773评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,470评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,080评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,713评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,852评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,865评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,689评论 2 354

推荐阅读更多精彩内容