k8s学习记录(kube-scheduler)

在上一篇安装篇之后,我们已经初步拥有了一个k8s集群,并且运行着k8s-device-plugin,能够将gpu任务分配到装有gpu的node上。

但是,如果我们想让任务调度更加灵活呢?

首先,我们必须要了解k8s任务调度机制

kube-scheduler

https://kubernetes.io/docs/concepts/scheduling-eviction/kube-scheduler/

k8s scheduler 流程

简单的说,k8s的scheduler主要作了以下两个工作:

筛选和打分。

首先,k8s会筛选掉资源条件不允许的node,比如某个pod需要1个gpu资源,那么scheduler会首先排除掉没有gpu的node。

其次,scheduler会筛选掉因其他原因,不能运行该pod的node。

然后,会有一个打分机制,根据各种维度的打分选出最优的pod。其中,不同的分数有不同的权重。

那么,如果要更改这些机制,人为添加条件,该如何做呢?

第一种方法:git clone k8s的官方源码,然后修改scheduler,自己编译k8s

这种方法显然会带来非常多的麻烦,尤其是后期维护的开销。我们知道,k8s是允许master和node使用不同版本的k8s运行的,这一点我们可以在get nodes里面观察到。如果自行修改源代码,可靠性难以保证,对整个集群后期维护也会埋下隐患。

第二种方法:自己写一个scheduler,和kube-scheduler同时运行。

这一种方法的想法是,默认的scheduler和你自己写的scheduler分别管不同的pod,可以通过在pod里添加schedulerName字段来实现。但是,这样做也会带来问题,因为集群是分布式的,存在cache同步一致性的问题。比如,有这样一个pod,提交到k8s,被两个scheduler同时分配到同一个node上。这样的问题不是不能解决,但是要花费相当大的精力。

第三种方法:写一个scheduler extender

第四种方法:scheduling framework

在笔者写这篇文章时(2020年4月),其实第三种方法第四种方法看上去都比较实用,因为没有破坏k8s原有的代码和架构,也兼容默认的kube-scheduler。但是不知为何,在kubernetes官方文档里,关于scheduling这部分


没有任何关于scheduler extender的介绍,只有scheduling framework的介绍,而scheduling framework目前还处于alpha版本。目前我们计划写一个scheduling framework的plugin。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容