什么是资源
在Kubernetes中,资源指的是可以被pod或容器“请求”,“分配”,“消费”的那些东西。例如:CPU,内存,硬盘。资源又分为可压缩资源和不可压缩资源,目前CPU是唯一支持的可压缩资源,内存和硬盘是不可压缩资源。对于CPU这种可压缩资源,如果pod中服务使用CPU超过限额,该pod不会被kill掉但会被限制,而对于内存这种不可压缩资源,如果pod中服务使用内存超过限额,该pod中容器的进程会因OOM(Out of Memory)被kernel kill掉。
资源限制
如果未做过节点nodeSelector、亲和性(node affinity)或pod亲和、反亲和性(pod affinity/anti-affinity)等Pod高级调度策略设置,我们无法指定pod部署到指定机器上,这可能会造成CPU或内存等密集型的pod同时分配到相同节点,造成资源竞争。另一方面,如果未对资源进行限制,一些关键的服务可能会因为资源竞争因OOM等原因被kill掉,或者被限制使用CPU。
CPU、内存资源
在部署pod时,可以指定每个容器的资源请求和资源限额。分别由requests和limits控制:
- requests:资源请求,表示需要多少资源。
- limits: 资源限制,表示最多可以使用多少资源。
当给一个容器指定了resource requests时,调度器可以更好地决定将pod放在哪个node上,目前容器仅支持CPU和内存资源的requests和limits。
硬盘资源
emptyDir
卷,该类型的挂载卷可以使用宿主机全部的硬盘空间,要注意的是,emptyDir类型的挂载卷生命周期持续到Pod终止,即使Pod内的容器重启或终止,只要Pod存活,该挂载卷也会一直存在。只有当Pod终止时,挂载卷的数据才会被清除。
apiVersion: v1
kind: Pod
metadata:
name: test-pd
spec:
containers:
- image: gcr.io/google_containers/test-webserver
name: test-container
volumeMounts:
- mountPath: /cache
name: cache-volume
volumes:
- name: cache-volume
emptyDir: {}
PersistentVolume
持久卷,缩写为PV,是集群中的一块存储,跟Node一样,也是集群的资源。PV跟Volume(卷)类似,不过它有独立于Pod的生命周期,该类型挂载卷是永久存在于宿主机的。
kind: PersistentVolume
apiVersion: v1
metadata:
name: task-pv-volume
labels:
type: local
spec:
storageClassName: manual
capacity:
storage: 10Gi
accessModes:
- ReadWriteOnce
hostPath:
path: "/tmp/data"
上面定义了一个PersistentVolume资源,挂载宿主机的/tmp/data目录,容量为10GB,访问模式为读写,其中定义的storageClassName=manual用于将PersistentVolumeClaim的requests绑定到这个PV。 其中,accessModes可选三种访问模式:
- ReadWriteOnce:该卷能够以读写模式被加载到一个节点上。
- ReadOnlyMany:该卷能够以只读模式加载到多个节点上。
- ReadWriteMany:该卷能够以读写模式被多个节点同时加载。
PersistentVolumeClaim
持久卷申请,缩写为PVC,是用户对PV的一个请求,跟Pod类似。Pod消费Node的资源,PVC消费PV的资源。Pod 能够申请特定的资源(CPU和内存);PVC能够申请特定的尺寸和访问模式(例如可以加载一个读写,或多个只读实例)。
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: task-pv-claim
spec:
storageClassName: manual
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 3Gi
在Pod中使用PVC,yaml配置文件如下:
kind: Pod
apiVersion: v1
metadata:
name: task-pv-pod
spec:
volumes:
- name: task-pv-storage
persistentVolumeClaim:
claimName: task-pv-claim
containers:
- name: task-pv-container
image: nginx
ports:
- containerPort: 80
name: "http-server"
volumeMounts:
- mountPath: "/usr/share/nginx/html"
name: task-pv-storage
这里创建了一个PVC类型的资源,PVC创建后,k8s的controller会去查找匹配的PV,一旦找到,则通过storageClassName与其绑定,申请PV 3GB硬盘空间,实际上就是宿主机3GB硬盘空间。
Resource Quotas
资源配额(Resource Quotas)是用来限制用户资源用量的一种机制。
它的工作原理为:
- 资源配额应用在Namespace上,并且每个Namespace最多只能有一个ResourceQuota对象
- 开启计算资源配额后,创建容器时必须配置计算资源请求或限制(也可以用LimitRange设置默认值)
- 用户超额后禁止创建新的资源
资源配额的类型:
- 计算资源,包括cpu和内存
cpu, limits.cpu, requests.cpu memory, limits.memory, requests.memory
- 存储资源,包括存储资源的总量以及指定storage class的总量
requests.storage:存储资源总量,如500Gi persistentvolumeclaims:pvc的个数
- 对象数,即可创建的对象的个数
pods, replicationcontrollers, configmaps, secrets resourcequotas, persistentvolumeclaims services, services.loadbalancers, services.nodeports
资源配额示例
apiVersion: v1
kind: ResourceQuota
metadata:
name: resource-quotas
spec:
hard:
pods: "4"
requests.cpu: "1"
requests.memory: 1Gi
limits.cpu: "2"
limits.memory: 2Gi
persistentvolumeclaims: "10"
该配置表示,该命名空间下
最多只能有4个pod CPU请求1核,限制2核 内存请求1GB,限制2GB 最多可以声明10个PVC
使用示例 创建myspace命名空间:
[root@docker22 kubernetes]# kubectl create namespace myspace
namespace "myspace" created
创建myspace命名空间的资源配额对象:
[root@docker22 kubernetes]# kubectl create -f resoureQuota.yml -n myspace
resourcequota "resource-quotas" created
查看该命名空间下资源配额占用情况:
[root@docker22 kubernetes]# kubectl describe quota/resource-quotas -n myspace
Name: resource-quotas
Namespace: myspace
Resource Used Hard
-------- ---- ----
limits.cpu 0 2
limits.memory 0 2Gi
persistentvolumeclaims 0 10
pods 0 4
requests.cpu 0 1
requests.memory 0 1Gi
编写应用app-myspace.yaml配置,如下:
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: app-myspace
spec:
replicas: 3
template:
metadata:
labels:
app: app-myspace
spec:
containers:
- name: app-myspace
image: app-myspace:k8s-test
resources:
requests:
memory: 100Mi
cpu: 100m
limits:
memory: 500Mi
cpu: 500m
创建Deployment:
[root@docker22 kubernetes]# kubectl create -f app-myspace.yml -n myspace
deployment "app-myspace" created
查看资源占用情况:
[root@docker22 kubernetes]# kubectl describe quota/resource-quotas -n myspace
Name: resource-quotas
Namespace: myspace
Resource Used Hard
-------- ---- ----
limits.cpu 1500m 2
limits.memory 1500Mi 2Gi
persistentvolumeclaims 0 10
pods 3 4
requests.cpu 300m 1
requests.memory 300Mi 1Gi
LimitRange
默认情况下,Kubernetes中所有容器都没有任何CPU和内存限制。LimitRange用来给Namespace增加一个默认资源限制,包括最小、最大值。
配置示例:
apiVersion: v1
kind: LimitRange
metadata:
name: mylimits
spec:
limits:
- max:
cpu: "2"
memory: 1Gi
min:
cpu: 200m
memory: 6Mi
type: Pod
- default:
cpu: 300m
memory: 200Mi
defaultRequest:
cpu: 200m
memory: 100Mi
max:
cpu: "2"
memory: 1Gi
min:
cpu: 100m
memory: 3Mi
type: Container
该配置表示,默认情况下:
一个Pod内所有容器内存使用最小6M,最大1G;CPU使用最小200m,最大2核。 一个容器内存使用最小3M,最大1G,requests 100M,limits 200M;CPU使用最小100m,最大2核,requests 200m,limits 300m。
原文
http://bazingafeng.com/2017/12/04/the-management-of-resource-in-kubernetes/