k8s之存储

image.png

k8s的存储常用的就是上面几种模式，分为临时存储，半持久化存储，与持久化存储这三类，本章我们着重讲解emptydir与hostpath与pvc跟pv等

一、 emptydir

emptydir是什么

当pod的存储方案设定为emptydir的时候，pod启动时，就会在pod所在节点的磁盘空间开辟出一块空卷，最开始里面是什么都没有的，pod启动后容器产生的数据会存放到那个空卷中。空卷变成了一个临时卷

供pod内的容器读取和写入数据，一旦pod容器消失，节点上开辟出的这个临时卷就会随着pod的销毁而销毁

emptydir的用途

充当临时存储空间，当pod内容器产生的数据不需要做持久化存储的时候用emptydir
设制检查点以从崩溃事件中恢复未执行完毕的长计算

一般来说emptydir的用途都是用来充当临时存储空间，例如一些不需要数据持久化的微服务，我们都可以用emptydir来当做微服务pod的存储方案

k8s存储emptdir实战例子：以之前的myapp应用为例

[root@master-01 storage]# cat emptydir.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

 name: myapp-volume

 namespace: default

spec:

 replicas: 1

 selector:

 matchLabels:

 app: myapp-volume

 release: canary

 template:

 metadata:

 labels:

 app: myapp-volume

 release: canary

 spec:

 imagePullSecrets:

 - name: regsecret

 hostAliases:

 - ip: "10.1.1.5"

 hostnames:

 - "harbor-ali.abc.com"

 containers:

 - name: myapp-volume

 image: "harbor-ali.abc.com/k8s_img/myapp:v1"

 imagePullPolicy: Always

 ports:

 - name: http

 containerPort: 80

 volumeMounts:

 - mountPath: /data #挂到容器中的路径

 name: test-volume

 volumes:

 - name: test-volume

 emptyDir: {} #指定存储方式

创建应用

image.png

观察是否生产data目录，并在/data目录创建文件test.txt

image.png

手动删除容器模拟容器销毁，用于是pod是被控制器管理的，删除后会被重建新的pod

image.png

这时候在看我们之前创建的data.txt已经不见了

image.png

二、 hostpath

hospath 是什么

hostPath类型则是映射node文件系统中的文件或者目录到pod里。在使用hostPath类型的存储卷时，也可以设置type字段，支持的类型有文件、目录、File、Socket、CharDevice和BlockDevice（我只映射过文件与目录）。

其实这个功能就相当于docker中的-v 目录映射，只不过在k8s中的时候，pod会漂移，当pod漂移到其他node节点的时候，pod不会跨节点的去读取目录。所以说hostpath只能算一种半持久化的存储方式

hostpath用途

当运行的容器需要访问Docker内部结构时，如使用hostPath映射/var/lib/docker到容器；
当在容器中运行cAdvisor时，可以使用hostPath映射/dev/cgroups到容器中；

实战例子

[root@master-01 storage]# cat hostpath.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

 name: myapp-hostpath

 namespace: default

spec:

 replicas: 1

 selector:

 matchLabels:

 app: myapp-hostpath

 release: canary

 template:

 metadata:

 labels:

 app: myapp-hostpath

 release: canary

 spec:

 imagePullSecrets:

 - name: regsecret

 hostAliases:

 - ip: "10.1.1.5"

 hostnames:

 - "harbor-ali.abc.com"

 containers:

 - name: myapp-hostpath

 image: "harbor-ali.abc.com/k8s_img/myapp:v1"

 imagePullPolicy: Always

 ports:

 - name: http

 containerPort: 80

 volumeMounts:

 - mountPath: /data #挂到容器中的路径

 name: test-volume

 volumes:

 - name: test-volume

 hostPath:

 path: /data/volume #node节点路径

 type: DirectoryOrCreate #path的属性,目标目录不存在将会被创建

创建应用

image.png

在node节点可以看到生成了/data/volume目录，在里面创建测试文件

image.png

检验pod里面的/data是否存在这个映射目录的文件

image.png

可以看到刚才创建的文件已经映射到我们的目录里边了

为了验证是否映射到容器里面的目录也会随着pod生命周期的消失而消失，我们手动删除pod模拟容器终止

image.png

可以看到容器被删除后，新建的pod也可以看到我们映射的目录，而且里面数据test.txt还在。

这有个缺点就是不能够跨容器去读取数据，如果删除后的pod被调度到其他节点的话，原来的数据也就没有了，如果能不受节点的影响，并且挂载的数据不会随生命周期的结束而结束，我们应该怎么解决呢？就是我们后面讲到的持久化存储了

三、持久化存储pvc 、pv 之nfs

上面介绍了俩种临时存储于半持久化存储的方案。在k8s实际生产环境中，一般会选用私有云持久化存储方案还有公有云持久化存储方案，私有云存储方案包括nfs，ceph，glusterfs等方案。公有云存储会用到AWS等方案

存储方案各有各的优缺点，可参考https://www.cnblogs.com/yswenli/p/7234579.html这篇文章。今天我们主要讲解pvc，pv，nfs之间的关系。

简单来说，要使用持久化存储，就需要使用pvc去跟pv去申请，然后pv查看自己有没有合适的存储空间卷，有合适的就与pvc进行绑定。pv与pvc是一一对应绑定的。现在我们用一幅图来说明pvc，pv，nfs的关系

image.png

实战例子

准备存储服务安装nfs

[root@master-01 storage]# yum -y install nfs-util*

[root@master-01 storage]# cat /etc/exports

/data/pv-volume 10.1.1.0/24 (rw,sync,no_root_squash)

[root@master-01 storage]# systemctl start rpcbind

[root@master-01 storage]# systemctl start nfs

[root@master-01 storage]# showmount -e 127.0.0.1

Export list for 127.0.0.1:

/data/pv-volume (everyone)

接下来创建pv与nfs绑定

[root@master-01 storage]# cat pv.yaml

apiVersion: v1

kind: PersistentVolume

metadata:

 name: pv01

 labels:

 nfs-label: pv01

 name: pv01

spec:

 accessModes: ["ReadWriteMany"]

 capacity:

 storage: 5Gi

 nfs:

 server: 10.1.1.10

 path: /data/pv-volume

![image.png](https://upload-images.jianshu.io/upload_images/16399686-d2238b075fe397b8.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

创建pvc与pv关联

[root@master-01 storage]# cat pv.yaml

apiVersion: v1

kind: PersistentVolume

metadata:

 name: pv01

 labels:

 nfs-label: pv01

 name: pv01

spec:

 accessModes: ["ReadWriteMany"]

 capacity:

 storage: 5Gi

 nfs:

 server: 10.1.1.10

 path: /data/pv-volume

[root@master-01 storage]# cat pvc.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

 name: pod-pvc

 namespace: default

spec:

 accessModes: ["ReadWriteMany"] #一共有三种模式

 resources: #指定资源说明

 requests: #指定请求

 storage: 4Gi #指定请求存储空间的大小

 selector:

 matchLabels:

 nfs-label: pv01

创建并查看结果

image.png

注意：STATUS为Bound说明该pvc已经与pv绑定了

接下来创建pod来引用pvc

[root@master-01 storage]# cat pod-bond-pcv.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

 name: myapp-pv-pvc

 namespace: default

spec:

 replicas: 1

 selector:

 matchLabels:

 app: myapp-pv-pvc

 release: canary

 template:

 metadata:

 labels:

 app: myapp-pv-pvc

 release: canary

 spec:

 imagePullSecrets:

 - name: regsecret

 hostAliases:

 - ip: "10.1.1.5"

 hostnames:

 - "harbor-ali.abc.com"

 containers:

 - name: myapp-pv-pvc

 image: "harbor-ali.abc.com/k8s_img/myapp:v1"

 imagePullPolicy: Always

 ports:

 - name: http

 containerPort: 80

 volumeMounts:

 - mountPath: /data/html #挂到容器中的路径

 name: pv-pvc-volume

 volumes:

 - name: pv-pvc-volume

 persistentVolumeClaim: #指定使用pvc模式

 claimName: pod-pvc #指定pvc名称

创建pod

image.png

接下来验证一下在nfs创建一个测试文件，看是否被映射到容器中

image.png

可以看到容器里面也可以看到创建的文件

手动删除容器，或者调度到其他节点原来的文件还是不会被删除的，这里就省略验证了，这就是nfs的好处，不过企业一般不会选用nfs，磁盘IO,性能读取方面不太理想，毕竟是本地存储，还是有一定的风险。推荐用用云存储。

四、阿里云nas云存储（适用于阿里云服务器存储）

文件存储提供无限扩展的文件系统来给云服务器存取数据实际上相当于nfs

前提条件

1、已注册阿里云账号，并完成实名认证。

如果没有，请先注册阿里云账号，详情请参见阿里云账号注册流程。

2、已开通NAS服务。

首次登录NAS控制台时，根据页面提示开通NAS服务。

3、在需要创建文件系统的地域，已有可用的云服务器ECS。

k8s应用NAS实战例子

1、打开阿里云NAS控制台确认已创建好文件系统

image.png

2、把复制挂载参数把它挂载到服务器中创建测试目录，前提是服务器需要安装nfs客户端。

mkdir /nas/test -p
yum -y install nfs-util*

安装完成挂载到本地目录并创建test目录作为测试目录

image.png

并在里面创建一个测试文件1.txt

image.png

接下来可以创建pvc和pv了

[lishiwei@test-k8s-01 pv-pvc]$ cat test-pvc.yaml

apiVersion: v1

kind: PersistentVolume

metadata:

 name: nas-test

 labels:

 nas-label: nas-test

spec:

 capacity:

 storage: 40Gi

 accessModes:

 - ReadWriteMany

 mountOptions:

 - vers=4.0

 - noresvport

 persistentVolumeReclaimPolicy: Retain

 nfs:

 path: /test

 server: xxxxxx-cxm19.cn-shenzhen.nas.aliyuncs.com

---

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

 name: nas-pvc-test

 namespace: default

spec:

 accessModes:

 - ReadWriteMany

 resources:

 requests:

 storage: 10Gi

 selector:

 matchLabels:

 nas-label: nas-test

创建并查看

[lishiwei@test-k8s-01 pv-pvc]$ kubectl apply -f test-pvc.yaml

persistentvolume "nas-test" created

persistentvolumeclaim "nas-pvc-test" created

![image.png](https://upload-images.jianshu.io/upload_images/16399686-add975530943fa7d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

接下来创建pod去引用pvc


[lishiwei@test-k8s-01 pv-pvc]$ cat myapp.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

 name: myapp-pv-pvc

 namespace: default

spec:

 replicas: 1

 selector:

 matchLabels:

 app: myapp-pv-pvc

 release: canary

 template:

 metadata:

 labels:

 app: myapp-pv-pvc

 release: canary

 spec:

 imagePullSecrets:

 - name: regsecret

 hostAliases:

 - ip: "10.1.1.5"

 hostnames:

 - "harbor-ali.ejoyst.com"

 containers:

 - name: myapp-pv-pvc

 image: "harbor-ali.abc.com/k8s_img/myapp:v1"

 imagePullPolicy: Always

 ports:

 - name: http

 containerPort: 80

 volumeMounts:

 - mountPath: /data/nas #挂到容器中的路径

 name: pv-pvc-volume

 volumes:

 - name: pv-pvc-volume

 persistentVolumeClaim: #指定使用pvc模式

 claimName: nas-pvc-test #指定pvc名称

创建pod

image.png

检验刚才的1.txt是否挂到容器的/data/nas下

image.png

云存储适合于生产环境k8s的存储解决方案

k8s之存储

一、 emptydir

emptydir是什么

emptydir的用途

二、 hostpath

hospath 是什么

hostpath用途

三、 持久化存储pvc 、pv 之nfs

四、阿里云nas云存储（适用于阿里云服务器存储）

三、持久化存储pvc 、pv 之nfs