Ponf回忆录

背景

Ponf的全称是Planet‘s Configuration的缩写,是为了当时代号星球项目专门编写的分布式配置中间件。

问:市面上已经有很多配置中心了,为什么要专门做一个配置中间件?
答:因为星球项目是源于老VIP项目的升级,它的目标是将VIP从一个单体项目(一套程序多机部署)升级为微服务项目,以解决团队快速增长,项目难以管控的问题。但升级不是一步到位的,要兼容之前的数据和代码,同时还要保证升级过程循序渐进不能耗费太多人力。
而在VIP项目中有一个非常复杂的配置系统,数据大概有几个G。我们的目标是不下线原本的配置系统,同时为微服务提供高效简介的配置服务。因此需要兼容原有的配置功能,同时还要进行微服务改进。

Ponf要解决的问题

原来配置服务存在的问题:

  1. 逻辑简单粗暴,每五分钟扫描Mysql获取全量配置,并全量分发给所有服务。
  2. 使用Thrift进行通讯,在目前微服务统一使用Dubbo进行通讯的背景下,又引入Thrift会增加学习成本。
  3. 原配置服务为单体服务,一旦出问题所有服务奔溃。

Ponf要解决的问题:

  1. 兼容原来配置服务数据(Mysql),同时可以使用原配置页面进行配置
  2. 开箱即用,提供最简单的get接口,让用户不需要理解任何实现原理
  3. 完全使用分布式架构,不再存在单点问题
  4. 高性能,高时效性
  5. 保证数据的一致性(原配置使用Mysql自然能保证完全的一致性,而Ponf的目标是实现时间一致性和最终一致性,时间一致性指的是在Ponf只能看到某一时间之前的数据,而不会既看见之前的数据又看到之后的数据)
  6. 使用Dubbo

方案

这是一套简单而又高效的方案,虽然不是完美的配置系统,但是是最适合星球项目的方案。

首先在Ponf中有多个ConfigServer,他们都注册为Dubbo服务,给所有客户端提供服务。同时ConfigServer无状态,所有的客户端可以任意选择自己的ConfigServer,也可以随时切换。

流程:

  1. 客户端发送心跳到ConfigServer,内容为客户端配置Version
  2. ConfigServer回复Version
  3. 客户端检查Version是否一致,若一致则等待下次心跳发送。
  4. 若不一致,则将自己所有的配置key的ID,以及每个Key对应的Version发送给ConfigServer(使用ID节约空间)
  5. ConfigServer将Version落后的Key的Value发送给客户端
  6. 客户端完成更新

若客户端业务程序在获取一个本地没有缓存的Key时,执行上面的4-6(这是比较耗时的操作,建议初始化时把key注册上)。当然如果业务不需要时间一致性,也可以直接获取。

ConfigServer内部逻辑,这里主要讲ConfigServer如何通过无锁的方式提供快照。

ConfigServer会定时从MySQL中获取最新的配置,首先先获取最新的Version,如果Version等与当前Version则不更新。
否则拉去所有Version大于ConfigServer的Version的数据。

在ConfigServer的配置存储在Config类中

class Config{
   Map<String,ConfigEntity> entities;
   Config prev;
}

class ConfigEntity{
   String value;
   int id;
   int version;
}

当ConfigServer启动时会创建第一个Config,将所有配置存储在entities中。
之后配置更新时,新创建一个Config,将更新的配置存储在新的entity中,并将prev指向之前的Config。

然后使用Copy On Write的方式替换全局Config的引用。

当进行配置查询时看,ConfigServer会先查询当前Config,如果Key不存在再查询prevConfig。

当然如果单是这样,Config链表会越来越长,那么配置读取的性能也会变差,因此每隔一定时间,就会将链表进行Merge,然后再通过Copy On Write的方式替换掉原来的Config。

这样就完成了ConfigServer的快照读,由于完全不加锁,所以性能很好!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,242评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,769评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,484评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,133评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,007评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,080评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,496评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,190评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,464评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,205评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,567评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2 335

推荐阅读更多精彩内容