调度需求

k8s的默认调度器在调度pod时，分两个阶段，第一个阶段：根据请求资源和pod、node的亲和性等配置筛选出符合要求的node列表。第二阶段：对筛选出来的node资源情况进行打分排序，最终选择打分最高的node作为pod的调度节点。在一些场景，我们想要自定义筛选节点的算法，该如何做呢？下面以slurm on k8s的需求举例，通过两种方式对k8s的调度器进行扩展

需求

部署slurm集群时需要根据物理架构选择性能最优的节点进行部署
在节点资源不足时，希望所有的pod都不要调度

物理架构

image.png

在slurm worker节点调度时，希望slurm cluster最好运行在一个leaf Pod网络内，且尽可能占用最少的leaf Pod数，对leaf Pod网络拓扑碎片化的影响最小

测试用例（如下su即是一个leaf Pod）：

假设：su中空闲的服务器从大到小排序后依次是su(m) 、su(m-1)、... su(m-7)，申请的计算服务器数量为n.
用例一：n > sum(su(m) + su(m-1)+ ... + su(m-7))时，调度失败
用例二：n < su(m-7)时，服务器全部从su(m-7)进行调度
用例三：n < su(m-k) & n > su(m-k+1)时，服务器全部从su(m-k)进行调度， k的范围 (0, 1, 2, 3, 4, 5, 6, 7)
用例四：n < sum(su(m) + su(m-1)+ ... + su(m-7)) & n > su(m-7)时，服务器根据su(m)、sum(m-1)... 顺序进行优先调度，直到满足数量要求

通过k8s 调度器框架进行扩展

对PreScore、Score扩展点进行扩展，不支持pod group调度。同一个集群的部分pod调度完成后实际的leafpod拓扑结构已经发生变化

func (n *leafPodPlugin) PreScore(ctx context.Context, state *framework.CycleState, pod *v1.Pod, nodes []*v1.Node) *framework.Status {
    // 1. 获取pod group的实例个数
    podAnnotations := pod.GetAnnotations()
    podGroupReplicas, _ := strconv.Atoi(podAnnotations["replicas"])
    // 2. 遍历nodes, 计算node所属leafpod node的个数
    nodeLeafPodCount := make(map[string]int)
    for _, node := range nodes {
        nodeAnnotations := node.GetAnnotations()
        if v, ok := nodeAnnotations["leafpod"]; ok {
            nodeLeafPodCount[v]++
        }
    }
    klog.Infof("nodeLeafPodCount: %v", nodeLeafPodCount)
    // 3. 遍历node, 计算k值
    for _, node := range nodes {
        nodeAnnotations := node.GetAnnotations()
        if v, ok := nodeAnnotations["leafpod"]; ok {
            klog.Infof("node %s leafpod count: %d, k: %d", node.GetName(), nodeLeafPodCount[v], podGroupReplicas-nodeLeafPodCount[v])
            podAnnotations[node.GetName()] = fmt.Sprintf("%d", nodeLeafPodCount[v]-podGroupReplicas)
        }
    }
    // PreScore的时候，判断pod group实例的个数m，nodeInfo所属POD组的node的个数n，k = n -m, k越小则约倾向于调度到该node，k < 0, 则万不得已不要调度到该节点
    // 将node对应k值记录到pod的annotation中
    pod.SetAnnotations(podAnnotations)
    return nil
}

func (n *NetworkSpeedPlugin) Score(ctx context.Context, state *framework.CycleState, p *v1.Pod, nodeName string) (int64, *framework.Status) {
      // 当k < 0时，即该node所属的leafpod不满足足够pod实例数的调度。当k > 0时，k值越小，调度到该node对整个集群的碎片化影响最小，优先调度
      podAnnotations := pod.GetAnnotations()
      k := podAnnotations[nodeName]
      if k > 0 {
         return 100 -k
      }
      return 0
}