[Soul 源码之旅] 1.6 Soul数据同步 (长轮询)

1.6.1 背景

我们先来聊一下常用的几种即时通讯技术包括 轮询,长轮询,和 Websocket 三种。

1.6.1.1 轮询

轮询是客户端每隔一段时间向服务端发送请求,服务端不管是否又数据更新都会直接返回所有数据,这种方式实现起来很简单,而且服务端无需做任何改造就可以满足要求,但是会占用比较多的内存和带宽,无法承受大量客户端。

1.6.1.2 长轮询

长轮询是当服务器收到客户端发来的请求后,服务器端不会直接进行响应,而是先将这个请求挂起,然后判断服务器端数据是否有更新。如果有更新,则进行响应,如果一直没有数据,则到达一定的时间限制(服务器端设置)才返回。相比轮询,长轮询主要优点是可以减少带宽,但是服务端需进行一定的改造。

1.6.1.2 websocket

websocket 是一种比较新的网络协议,它是全双工的,在第一次客户端向服务端发送Http请求建立链接后,客户端和服务端就处于平等状态,可以相互发送数据,websocket 相比上面两种协议,无论是对服务器的CPU和内存资源的消耗,还是服务的响应及时性都要更好,但是需要服务器做的变动比较多,还需要又支持 websocket 的客户端。

1.6.2 soul Bootstrap

由于是客户端发起请求,我们先来看一下Bootstrap 客户端。我们还是根据 引入的 starter 追踪到 HttpSyncDataConfiguration 这个配置类,HttpSyncDataConfiguration 主要是初始化类 httpSyncDataService 这个bean。


HttpSyncDataConfiguration

httpSyncDataService 的初始化主要做了三件事,首先是初始化了所有的插件的 subscriber 订阅者,初始化 httpClinet 使用的是 OkHttp3ClientHttpRequestFactory 作为一个 Restemplate ,后面可以直接通过操作 Restemplate 进行轮询,最终调用start 方法。


image.png

start 方法先判断当前状态是否处于运行状态,保证每次只有一个客户端在轮询。
image.png

接着调用 /configs/fetch 接口先拿回全量的数据,然后更新。


image.png

这里有个有趣的地方,我们看 DataRefreshFactory 的 excite 方法,这里主要是通过stream 的 foreach 方法进行遍历,但是这里使用了一个 boolean 数组,但是只有一个元素,为什么呢,因为 lamb 表达式要求里面的所有元素都是 final 的,final 就意味着对这个元素的操作是线程安全的。但是假如是一个 final 的 boolean 那不是无法修改状态了吗,所以这里使用了一个看起来很奇怪的 boolean 数组。


image.png

接着 bootsrapt 启动一个 ThreadPoolExecutor 线程池 ,主要是执行定时刷新任务,这个线程池为每个 soul admin 服务端建立一个定时任务 HttpLongPollingTask ,所以我们知道 soul admin 和 soul bootstrap 是可以使用一个集群提供高可用保证的。
在定时任务中主要是先判断目前是处于运行中,是则进行长轮询,假如轮询失败则重试,重试超过三次就睡眠 5 min。


image.png

doLongPolling 首先为每个需要轮询的数据的MD5值和最后修改时间用逗号拼接作为请求参数,请求服务端。/configs/listener 接口,然后将拿到的数据更新到内存中。
doLongPolling

image.png

1.6.3 soul admin
我们接着看 /configs/listener 接口 , 这里也是调用 doLongPolling 方法。


doLongPolling

它先比较请求的MD5值和当前的配置是否相等和最后修改时间和当前的配置是否相同,假如不同,则返回该配置组,假如都相同,这里会先取一把锁,然后从数据库里面更新最新的数据到内存中,这里主要是为了多个 soul admin 假如其中一个更新了,其他的也能同步更新,很多人会想问,这里数据是使用 concurrentHasmap 进行存储,为什么还需要加锁,这里作者解释,主要是因为存在多个 soul web 的话,可能存在同时向数据库请求,数据库的瞬时压力增大,这种情况很好理解,就像我们设置 redis 的 key 一样,不能同时设置同个过期时间,否则很容易造成缓存穿透和甚至缓存雪崩。
image.png

这里拿到所有已经更新的组信息返回。
compareChangedGroup

这里假如有数据更新则立即返回数据。假如没有数据则调用 request.startAsync() 方法,这个是什么意思呢,它的作用是HTTP请求不再绑定到HTTP线程,这使我们以后可以使用更少的线程来处理它,我们拿到 asynccontext 后发给我们的线程池,这里处理该 http 请求的线程就完成了此次请求,后续需要发送数据给客户端只需要线程池进行通过操作 asynccontext 实现。
longpoll

最终这里通过线程池的schedule方法,设置延时时长,到预定时间后查看缓存数据是否有更新,有则返回给客户端。
image.png

这里调用 asyncContext.complete() 整个调用才算结束。
sendResponse

1.6.3 总结

这一期最精彩的莫过于对request.startAsync()对运用,这里假如直接阻塞当前线程,我们知道 tomcat 处理http 请求对线程是有限的,直接阻塞假如 soul bootstrap 很多会耗尽请求线程池。这里直接放入 一个调度线程池, 这个线程池只有一个线程,当很多请求进来,他会先将它放入 BlockQueue 中,然后一个个处理,减少了线程池的开销。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,001评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,210评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,874评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,001评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,022评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,005评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,929评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,742评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,193评论 1 309
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,427评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,583评论 1 346
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,305评论 5 342
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,911评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,564评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,731评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,581评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,478评论 2 352

推荐阅读更多精彩内容