ResourceQuota的用途
ResourceQuota和LimitRange类似,都是用于限制namespace中资源的使用量。但是他们又有很大区别。ResourceQuota用于限制某个namespace下某种类型资源的总数量,也可以限制某个资源对象消耗的计算资源的总量。LimitRange限制的则是container/pod和PVC级别的资源消耗。
启用ResourceQuota
默认来说k8s集群已经启用了ResourceQuota。ResourceQuota的生效范围是它所在namespace。
和LimitRange一样,ResourceQuota只在资源创建时检查是否超出配额,对于已经存在的资源,ResourceQuota不会干预。
计算资源配额
ResourceQuota支持如下的计算资源配额(统计所有非terminated状态的pod):
- limits.cpu
- limits.memory
- requests.cpu
- requests.memory
存储资源配额
ResourceQuota支持如下的存储资源配额:
- requests.storage:所有PVC请求的存储容量不得超过这个值
- persistentvolumeclaims:PVC总数量不得超过这个值
- <storage-class-name>.storageclass.storage.k8s.io/requests.storage:所有和<storage-class-name>关联的PVC请求的存储容量不得超过这个值
- <storage-class-name>.storageclass.storage.k8s.io/persistentvolumeclaims:所有和<storage-class-name>关联的PVC数量不得超过这个值
对象数量配额
k8s 1.9之后增加了如下的限制对象数量的配置。格式如下:
count/<resource>.<group>
k8s支持的对象数量配额限制的种类如下:
- count/persistentvolumeclaims
- count/services
- count/secrets
- count/configmaps
- count/replicationcontrollers
- count/deployments.apps
- count/replicasets.apps
- count/statefulsets.apps
- count/jobs.batch
- count/cronjobs.batch
- count/deployments.extensions
注意:k8s 1.15版本新增了任意资源的配额限制。举例说明,如果我们需要限制来自example.com API group的名字为widgets的资源,写法如下所示:
count/widgets.example.com
k8s 1.9之前(现在可以可用)可以使用的对象数量配额如下所示:
- configmaps
- persistentvolumeclaims
- pods
- replicationcontrollers
- resourcequotas
- services
- services.loadbalancers
- services.nodeports
- secrets
配额的范围
ResourceQuota可以给出配置,单独限制如下4种状态的pod:
- Terminating:匹配.spec.activeDeadlineSeconds >= 0的pod
- NotTerminating:匹配.spec.activeDeadlineSeconds为nil的pod
- BestEffort
- NotBestEffort
其中,BestEffort范围可以配置pods数量限制。
其他3个可以配置:
- cpu
- limits.cpu
- limits.memory
- memory
- pods
- requests.cpu
- requests.memory
针对PriorityClass范围设置ResourceQuota
Pod可以指定一个PriorityClassName。ResourceQuota可以包含一个scopeSelector,如果一个pod的PriorityClassName能够被某个ResourceQuota的scopeSelector匹配,那么这个ResourceQuota对这个pod生效。
一个例子如下:
首先创建一组ResourceQuota:
apiVersion: v1
kind: List
items:
- apiVersion: v1
kind: ResourceQuota
metadata:
name: pods-high
spec:
hard:
cpu: "1000"
memory: 200Gi
pods: "10"
scopeSelector:
matchExpressions:
- operator : In
scopeName: PriorityClass
values: ["high"]
- apiVersion: v1
kind: ResourceQuota
metadata:
name: pods-medium
spec:
hard:
cpu: "10"
memory: 20Gi
pods: "10"
scopeSelector:
matchExpressions:
- operator : In
scopeName: PriorityClass
values: ["medium"]
- apiVersion: v1
kind: ResourceQuota
metadata:
name: pods-low
spec:
hard:
cpu: "5"
memory: 10Gi
pods: "10"
scopeSelector:
matchExpressions:
- operator : In
scopeName: PriorityClass
values: ["low"]
这里创建了3个ResourceQuota,分别对high,medium,low三个PriorityClass生效。
接下来创建一个pod:
apiVersion: v1
kind: Pod
metadata:
name: high-priority
spec:
containers:
- name: high-priority
image: ubuntu
command: ["/bin/sh"]
args: ["-c", "while true; do echo hello; sleep 10;done"]
resources:
requests:
memory: "10Gi"
cpu: "500m"
limits:
memory: "10Gi"
cpu: "500m"
priorityClassName: high
这个pod关联的priorityClass为high,相应的pods-high这个ResourceQuota对这个pod生效。
scopeSelector可用的operator有:
- In
- NotIn
- Exist
- DoesNotExist
查看quota信息
kubectl describe quota
可以看到ResourceQuota名称,资源类型,已用的资源数和可用的上限数。
ResourceQuota描述文件
一个样板ResourceQuota描述文件的例子如下:
apiVersion: v1
kind: ResourceQuota
metadata:
name: object-counts
spec:
hard:
configmaps: "10"
persistentvolumeclaims: "4"
pods: "4"
replicationcontrollers: "20"
secrets: "10"
services: "10"
services.loadbalancers: "2"
限制Priority Class的使用
下面举例说明这种场景。比如说对于cluster-services
这个priority class而言,只有某个namespace中配置了匹配这个priority class的ResourceQuota,才能创建带有该priority class的pod。否则此类pod不允许被创建。
配置方法如下:
创建一个AdmissionConfiguration,如下所示。
apiVersion: apiserver.config.k8s.io/v1
kind: AdmissionConfiguration
plugins:
- name: "ResourceQuota"
configuration:
apiVersion: apiserver.config.k8s.io/v1
kind: ResourceQuotaConfiguration
limitedResources:
- resource: pods
matchScopes:
- scopeName: PriorityClass
operator: In
values: ["cluster-services"]
然后在需要使用这个priority class的namespace中创建ResourceQuota,需要包含下方所示配置:
scopeSelector:
matchExpressions:
- scopeName: PriorityClass
operator: In
values: ["cluster-services"]
此时,该namespace就可以允许创建priority class为cluster-services
的pod了。