从实验室服务器资源占用机制看“公平”和“效率”


从去年开始,我们实验室里的服务器资源越来越紧张,每个人都声称自己几乎申请不到资源,有时候即使连一个调试节点上的device也占不到,每每只能唉声叹气的在自己的cpu上调试和测试。

事实上,我们实验室满打满算GPU资源已经相当丰富,从node1到node13,共55个device(其中18个4g显存,37个12g显存),拢共30个人使用(不会同时使用),因此即使按照平均分配也能保证每个人有1个device使用。但是是什么原因导致了有人没有申请到资源?

从实验室拟定的服务器使用条例中可以看到,规则上采用如下的机制:

1. 使用数量:每个人最多可以同时使用6块显卡,如果使用的显卡数目超过4块,而此时显卡数目不够用,则采用A1方案:让显卡使用量最多的人主动让出显卡使用权,如果使用量最多的人数超过一人,则让出最早被预约的显卡。为了保证每人都随时有一块显卡可以使用,如果出现有人没有显卡可用的情况,采用A1方案
2. 使用时间:每次预约成功一块显卡后,只要当前使用的显卡数目不超过4块,那么72小时内不能被强制让出显卡使用权
3. 预约方式:每隔72小时,15点,提供一张清空的在线表格,大家将自己的名字填到对应的显卡所在行,如果多人预约同一张显卡,根据表格修改记录,按照谁先提交谁得到显卡使用权的原则来分配显卡。每个人在十分钟内的预约数目不能超过六块显卡,以免出现有人一次性将20张显卡全部预约的情况。在72小时内,可以随时放弃显卡使用权,并删除表格中显卡对应的使用人。在72小时内,如果还有空余显卡,也可以随时预约。
4. 考虑到Titan X显卡的运算性能优于GTX 980,故不对每块显卡的显存使用量做要求,但是尽量秉承用Titan X运行高显存使用量程序的原则。
5. 如果需要做超过72小时的运算,并且切换显卡不方便,需提前告知大家尽量不要预约在使用的显卡。
6. 考虑到目前深度学习的框架对于CPU以及内存的使用量不会有过高的要求,所以尽量不要占用太多CPU以及内存资源。
7. 需要自己让出显卡使用权的时候,请自觉停掉程序

整体的方案从分配的角度上,基本上保证了众多用户的权限,既能让高需求用户同时满足多达6块device的使用需求,也能保证低需求用户1块device的最小需要。从理论上讲,这样还是可行的,“多退少补”的原则也能够让没有资源的用户得到最大的保障。

从某种意义上讲,这种机制更加注重效率,需要使用更多device的用户可以得到尽可能多的device,6片,基本上同时可以跑多达6个实验或6组参数,甚至更多。这样的机制使得占用很多资源的学生能够更快的得到更多的结果,加快科研的进展,也就是“效率优先”。但正是这种效率优先的策略,正导致了在长达半年到一年时间内的哀声哉道——没有人会主动吐出自己占有的资源,因为没有人愿意承认自己占用了最多的资源,且并没有充分利用起来。这就导致了多数资源占用不那么频繁的用户,经常性的占用不到任何资源。

实验室的发展确实要以学生的科研结果作为基础,因此必须有效的推动学生的科研进展,因此“效率优先”在一定程度上是可以理解的,但是如果这种策略阻碍了更多学生的研究工作,或者对他们的工作造成困扰,那么这就违背了效率的意义,从而造成了某种程度上的“垄断”。事实上,在过去的半年里,经常会有用户直接使用6块device甚至8块device(战时条例),这绝对是对其他用户资源的一种不道德侵占。

分析一下上述机制失败之处,主要在于“让用户吐出使用的device”是难以实现,不可操作的。在新机制的讨论期间部分同学提出修改上限数字为4甚至3,但是从我的观点来看,如果有数量较多的用户(比如6个)同时使用4个device的情况下,仍然难以解决该问题。

实验室里在没有大的利益冲突下,就存在这样的资源分配问题,而在社会上更严重的资源分配不均更是显而易见。“效率”与“公平”从来都是一对难以协调的因子,在邓之后,社会氛围明显趋于"效率优先,兼顾公平”的发展策略,所谓“兼顾公平”的情况,也多是“效率”的胜利。

而我,作为社会的一份子,实验室的一成员,为了让自己能够获得更多的资源,也就只好在提高“效率”的路上渐行渐远,努力的让自己成为“效率”的那部分社会组成,远离“公平”。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,831评论 25 707
  • 佛法指导人生!改变众生命运!
    愿吉阅读 165评论 0 0
  • 无绪杨柳影遮天,暑夏相连农作时。 粗布尽是烈阳里,疲惫劳形有谁怜。 独夫觉醒阿娇舞,孤客方知化蝶飞。 寒窗数载无有...
    ESESESN阅读 192评论 0 2
  • 像谈恋爱一样去赴约 前几天,同学在空间发了条说说,想要寻找一个人一同看书,说话也好,不说话也好,找一个有空的时间就...
    璞嗤一笑阅读 288评论 0 0
  • 我们乘着末班车回家 天色昏暗我们在最后一排 悲伤和孤寂在蔓延 今天又毫无收获 你有点像她 你带着疲倦的脸色 黑色发...
    冬雨的陶阅读 293评论 1 1