一、亲和度调度分类:
1、节点亲和性:通过为节点添加标签,创建Pod时通过yaml配置文件设置对节点的亲和度。即node对Pod有吸引力。
nodeAffinity:选择调度到这个节点
nodeAntiAffinity:选择不调度到该节点
2、pod亲和性:通过为Pod添加标签,再创建新的pod时可根据与其他已存在pod的标签选择部署到那个node上。即Pod之间有吸引力。
podAffinity:和某些pod调度到同一个节点
podAntiAffinity:和某些pod调度在不同节点
二、调度策略
1、硬策略
RequiredDuringSchedulingIgnoredDuringExecution:
必须满足制定的规则才可以调度Pod到Node上。相当于硬限制。指定了将 pod 调度到一个节点上必须满足的规则,不满足则会处于pending状态,一直进行重试,直到满足为止。
2、软策略
PreferredDuringSchedulingIgnoreDuringExecution:
强调优先满足制定规则,调度器会尝试调度Pod到Node 上,但并不强求,相当于软限制。多个优先级规则还可以设置权重值weight 属性以便用于自定义优先级,范围是1-100,越大越优。但条件都不满足时,也能够接受被编排与其他不符合条件的节点之上。
三、实战之添加该功能
首先配置与containers同级
1、节点亲和性
1)给node打标签
添加:kubectl label nodes docker-01 label-test=label-test
查看:kubectl get node --show-labels
删除:
kubectl label nodes <node-name> <label-key>-
kubectl label node 192.168.174.135 label-test- #“-”不可缺少
修改:
kubectl label nodes <node-name> <label-key>=<label-value> --overwrite
kubectl label node 192.168.174.135 label_key=label_value
2)pod与node亲和度配置编写
a)硬策略
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/e2e-az-name
operator: In
values:
- e2e-az1
- e2e-az2
b)软策略
单规则
affinity:
nodeAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 100
preference:
matchExpressions:
- key: node-attribute
operator: In
values:
- cpu
多规则
affinity:
nodeAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 40
preference:
matchExpressions:
- key: kubernetes.io/hostname
operator: In
values: #values支持多个key
- test-k8s-node3
- weight: 60
preference:
matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- test-k8s-node5
说明:硬策略:将pod调度到没有test-k8s-node2标签的节点上
软策略:将pod调度到有test-k8s-node5、test-k8s-node3标签的节点上,优先test-k8s-node5
2、pod亲和与互斥
通过pod的定义上增加topologyKey属性,来声明对应的目标拓扑区域内几种相关联的Pod 要“在一起或不在一起”,与节点亲和相同。
1、亲和性
Pod的亲和性被定义于Pod资源下的spec.affinity.podAffinity子字段中。
例如:pod1带有标签:security = S1
app = nginx
新建一个pod2定义的亲和性标签“security=S1”
spec:
affinity:
podAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: security
operator: In
values:
- S1
- key: app-name
operator: In
values:
- httpd
2、互斥性
Pod间的互斥性则被定义于Pod资源下的spec.affinity.podAntiAffinity子字段中
例如:pod1带有标签:security = S1
app = nginx
新建一个pod3定义的互斥性标签“app=nginx”
spec:
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values:
- nginx
四、topologyKey的引入
1)概念引入:topologyKey 对应的是Node上的标签的Key
由于Pod都是有命名空间的,所以基于Pod标签的标签选择器(Label Selector)必须指定命名空间。可以通过 namespaces(与 labelSelector、topologyKey同一级)指定。
默认情况下为拥有亲和性(或反亲和性)的Pod所属的命名空间,如果定义了namespaces但值是空的,则表示使用 all 命名空间。
topologyKey 就是用于筛选Node的。通过这种方式,我们就可以将各个Pod进行跨集群、跨机房、跨地区的调度了。
topologyKey 对应的是Node上的标签的Key,需要配合亲和和反亲和来使用
2)使用topologyKey
标记node节点
kubectl label nodes test-k8s-node1 zone=1
kubectl label nodes test-k8s-node3 zone=1
kubectl label nodes test-k8s-node2 zone=2
kubectl label nodes test-k8s-node4 zone=2
affinity:
podAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values:
- nginx
topologyKey: zone
如上:
podAffinity时:
topologyKey的作用,调度时会将pod调度到具有zone值相同的node节点区域上(假如zone=2,那么该服务所有pod会部署在zone=2的区域中)
podAntiAffinity时:
topologyKey的作用,调度时会将pod调度到具有zone不同值相node节点区域上(假如zone=2,那么该服务另外pod会部署在zone=1的区域中)
五、节点亲和和pod亲和的综合使用
affinity:
nodeAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 100
preference:
matchExpressions:
- key: node-attribute
operator: In
values:
- cpu
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values:
- xh-nginx
topologyKey: kubernetes.io/hostname