经典QoS调度算法——mClock算法的分布式版本详解

mClock paper, OSDI 2010

dmclock

前面一篇文章我详细解释了mClock算法的调度目标和设计原理,这篇文章我会详细介绍mClock的分布式版本dmclock的设计思想和原理。

在mClock的论文中,针对dmclock的设计原理只有两段内容,而且只有文字和公式,很难让人真正理解。dmclock算法相比mclock只改了一个地方,那就是标签的计算公式:

可以发现在Reservation标签的计算公式中由1/r变为\rho/r1/l1/w分别变为\delta/l\delta/w。论文中对于这两个参数\rho\delta这样解释:\delta表示该用户在除所要发送请求的服务器外,距上次发送请求这个时间内在其他服务器完成的请求个数,而\rho表示reservation阶段的结果,基本含义和\delta相同。看到这个解释,你会觉得不仅非常拗口,而且难以理解。下面给你两个栗子,让你理解这两个参数的含义。

图片来自网络

现在看懂这两个栗子了吗?

两个栗子

不好意思,开个玩笑。下面进入正题,下图是一个分布式的简单模型,一个客户端向多个服务器发送请求,其中请求上的字母代表所要发送的服务器的标志(A、B、C)。假设仍然按照mClock的公式打标签,那么结果是用户参数的3倍:3\times r或者3\times l,也就是有几个服务器就翻几倍,这个应该很好理解,因为分布式版本中,每个服务器都会有一个mClock调度器同时调度。


这里采用添加虚拟请求的方法,客户端会向所有服务器发送自己的所有请求,除目标服务器外的请求作为虚拟请求,仍然按照mClock的计算公式计算标签值,但是不会被实际处理,相当于虚拟请求只是占了一个坑(标签值),但是没有处理时间。这样的话就不会出现“翻倍”的问题。下面我们对这个方案进行优化,请看下面这个图:

图中不再使用虚拟请求,而是统计当前请求前发送到其他服务器的请求个数作为当前请求的delay,对比前面的方案,你会发现这个方案十分巧妙。dmclock正是运用了这个方案,将delay值分别乘以1/r1/l1/w。我们所需要计算的就是当前请求之前发送到其他服务器的请求个数即可,这个含义和\rho或者\delta类似。

讲到这里,你应该对dmclock的设计原理有了一定的了解。也许你会问,具体怎么实现呢?其实很简单,只要用一个map(C++、Java都有这个数据结构),为每个服务器存放完成请求个数,初始值为0。服务器每次完成请求时通过一个计数器记录全局完成的请求个数,每次客户端发送请求时,用全局请求个数减去要发送的服务器对应的map记录的值(初始值为0),然后用此时的全局请求个数更新该服务器对应的map中的值。具体实现细节,可以参考dmclock官方代码库:https://github.com/ceph/dmclock

实现方法会有很多,上面只是介绍的其中一种。好了,关于dmclock就介绍到这里,详细细节请阅读原始论文或者在评论区给我留言,欢迎大家的讨论!

参考资料

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,524评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,869评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,813评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,210评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,085评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,117评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,533评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,219评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,487评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,582评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,362评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,218评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,589评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,899评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,176评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,503评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,707评论 2 335

推荐阅读更多精彩内容