k8s 资源管理

什么是资源

在Kubernetes中,资源指的是可以被pod或容器“请求”,“分配”,“消费”的那些东西。例如:CPU,内存,硬盘。资源又分为可压缩资源和不可压缩资源,目前CPU是唯一支持的可压缩资源,内存和硬盘是不可压缩资源。对于CPU这种可压缩资源,如果pod中服务使用CPU超过限额,该pod不会被kill掉但会被限制,而对于内存这种不可压缩资源,如果pod中服务使用内存超过限额,该pod中容器的进程会因OOM(Out of Memory)被kernel kill掉。

资源限制

如果未做过节点nodeSelector、亲和性(node affinity)或pod亲和、反亲和性(pod affinity/anti-affinity)等Pod高级调度策略设置,我们无法指定pod部署到指定机器上,这可能会造成CPU或内存等密集型的pod同时分配到相同节点,造成资源竞争。另一方面,如果未对资源进行限制,一些关键的服务可能会因为资源竞争因OOM等原因被kill掉,或者被限制使用CPU。

CPU、内存资源

在部署pod时,可以指定每个容器的资源请求和资源限额。分别由requests和limits控制:

  • requests:资源请求,表示需要多少资源。
  • limits: 资源限制,表示最多可以使用多少资源。

当给一个容器指定了resource requests时,调度器可以更好地决定将pod放在哪个node上,目前容器仅支持CPU和内存资源的requests和limits。

硬盘资源

emptyDir
卷,该类型的挂载卷可以使用宿主机全部的硬盘空间,要注意的是,emptyDir类型的挂载卷生命周期持续到Pod终止,即使Pod内的容器重启或终止,只要Pod存活,该挂载卷也会一直存在。只有当Pod终止时,挂载卷的数据才会被清除。

apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: gcr.io/google_containers/test-webserver
    name: test-container
    volumeMounts:
    - mountPath: /cache
      name: cache-volume
  volumes:
  - name: cache-volume
    emptyDir: {}

PersistentVolume
持久卷,缩写为PV,是集群中的一块存储,跟Node一样,也是集群的资源。PV跟Volume(卷)类似,不过它有独立于Pod的生命周期,该类型挂载卷是永久存在于宿主机的。

kind: PersistentVolume         
apiVersion: v1                 
metadata:
  name: task-pv-volume         
  labels:                      
    type: local                
spec:
  storageClassName: manual     
  capacity:
    storage: 10Gi              
  accessModes:                 
    - ReadWriteOnce            
  hostPath:
    path: "/tmp/data" 

上面定义了一个PersistentVolume资源,挂载宿主机的/tmp/data目录,容量为10GB,访问模式为读写,其中定义的storageClassName=manual用于将PersistentVolumeClaim的requests绑定到这个PV。 其中,accessModes可选三种访问模式:

  • ReadWriteOnce:该卷能够以读写模式被加载到一个节点上。
  • ReadOnlyMany:该卷能够以只读模式加载到多个节点上。
  • ReadWriteMany:该卷能够以读写模式被多个节点同时加载。

PersistentVolumeClaim

持久卷申请,缩写为PVC,是用户对PV的一个请求,跟Pod类似。Pod消费Node的资源,PVC消费PV的资源。Pod 能够申请特定的资源(CPU和内存);PVC能够申请特定的尺寸和访问模式(例如可以加载一个读写,或多个只读实例)。

kind: PersistentVolumeClaim    
apiVersion: v1                 
metadata:
  name: task-pv-claim          
spec:
  storageClassName: manual     
  accessModes:                 
    - ReadWriteOnce            
  resources:                   
    requests:
      storage: 3Gi  

在Pod中使用PVC,yaml配置文件如下:

kind: Pod
apiVersion: v1
metadata:
  name: task-pv-pod
spec:
  volumes:
    - name: task-pv-storage
      persistentVolumeClaim:
       claimName: task-pv-claim
  containers:
    - name: task-pv-container
      image: nginx
      ports:
        - containerPort: 80
          name: "http-server"
      volumeMounts:
        - mountPath: "/usr/share/nginx/html"
          name: task-pv-storage

这里创建了一个PVC类型的资源,PVC创建后,k8s的controller会去查找匹配的PV,一旦找到,则通过storageClassName与其绑定,申请PV 3GB硬盘空间,实际上就是宿主机3GB硬盘空间。

Resource Quotas

资源配额(Resource Quotas)是用来限制用户资源用量的一种机制。
它的工作原理为:

  • 资源配额应用在Namespace上,并且每个Namespace最多只能有一个ResourceQuota对象
  • 开启计算资源配额后,创建容器时必须配置计算资源请求或限制(也可以用LimitRange设置默认值)
  • 用户超额后禁止创建新的资源

资源配额的类型:

  • 计算资源,包括cpu和内存

cpu, limits.cpu, requests.cpu memory, limits.memory, requests.memory

  • 存储资源,包括存储资源的总量以及指定storage class的总量

requests.storage:存储资源总量,如500Gi persistentvolumeclaims:pvc的个数

  • 对象数,即可创建的对象的个数

pods, replicationcontrollers, configmaps, secrets resourcequotas, persistentvolumeclaims services, services.loadbalancers, services.nodeports

资源配额示例

apiVersion: v1
kind: ResourceQuota            
metadata:
  name: resource-quotas        
spec:
  hard:                        
    pods: "4"                  
    requests.cpu: "1"          
    requests.memory: 1Gi       
    limits.cpu: "2"            
    limits.memory: 2Gi         
    persistentvolumeclaims: "10" 

该配置表示,该命名空间下
最多只能有4个pod CPU请求1核,限制2核 内存请求1GB,限制2GB 最多可以声明10个PVC

使用示例 创建myspace命名空间:

[root@docker22 kubernetes]# kubectl create namespace myspace
namespace "myspace" created 

创建myspace命名空间的资源配额对象:
[root@docker22 kubernetes]# kubectl create -f resoureQuota.yml -n myspace
resourcequota "resource-quotas" created

查看该命名空间下资源配额占用情况:

[root@docker22 kubernetes]# kubectl describe quota/resource-quotas -n myspace
Name:                   resource-quotas
Namespace:              myspace
Resource                Used  Hard
--------                ----  ----
limits.cpu              0     2
limits.memory           0     2Gi
persistentvolumeclaims  0     10
pods                    0     4
requests.cpu            0     1
requests.memory         0     1Gi

编写应用app-myspace.yaml配置,如下:

apiVersion: extensions/v1beta1 
kind: Deployment               
metadata:
  name: app-myspace         
spec:
  replicas: 3                  
  template:
    metadata:                  
      labels:                  
        app: app-myspace    
    spec:
      containers:              
      - name: app-myspace   
        image: app-myspace:k8s-test
        resources:             
          requests:
            memory: 100Mi      
            cpu: 100m          
          limits:              
            memory: 500Mi      
            cpu: 500m

创建Deployment:

[root@docker22 kubernetes]# kubectl create -f app-myspace.yml -n myspace
deployment "app-myspace" created

查看资源占用情况:

[root@docker22 kubernetes]# kubectl describe quota/resource-quotas -n myspace
Name:                   resource-quotas
Namespace:              myspace
Resource                Used    Hard
--------                ----    ----
limits.cpu              1500m   2
limits.memory           1500Mi  2Gi
persistentvolumeclaims  0       10
pods                    3       4
requests.cpu            300m    1
requests.memory         300Mi   1Gi

LimitRange

默认情况下,Kubernetes中所有容器都没有任何CPU和内存限制。LimitRange用来给Namespace增加一个默认资源限制,包括最小、最大值。

配置示例:

apiVersion: v1
kind: LimitRange               
metadata:      
  name: mylimits               
spec:                          
  limits:
  - max:
      cpu: "2"                 
      memory: 1Gi
    min:
      cpu: 200m                
      memory: 6Mi              
    type: Pod                  
  - default:
      cpu: 300m
      memory: 200Mi            
    defaultRequest:            
      cpu: 200m                
      memory: 100Mi            
    max:
      cpu: "2"
      memory: 1Gi
    min:
      cpu: 100m
      memory: 3Mi
    type: Container

该配置表示,默认情况下:

一个Pod内所有容器内存使用最小6M,最大1G;CPU使用最小200m,最大2核。 一个容器内存使用最小3M,最大1G,requests 100M,limits 200M;CPU使用最小100m,最大2核,requests 200m,limits 300m。

原文

http://bazingafeng.com/2017/12/04/the-management-of-resource-in-kubernetes/

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,110评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,443评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,474评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,881评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,902评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,698评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,418评论 3 419
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,332评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,796评论 1 316
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,968评论 3 337
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,110评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,792评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,455评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,003评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,130评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,348评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,047评论 2 355

推荐阅读更多精彩内容