在K8S中对于无状态的应用我们可以比较容易的扩展应用程序、滚动升级和重新启动崩溃的应用程序,但是对于一些无状态的应用,分为需要维护服务的拓扑结构和需要持久化数据两种情况,对于前者,我们可以使用headless service来实现,对于后者我们需要在集群中使用持久存储来持久化数据。而持久化存储,NFS(Network File System)是一个使用比较常用的分布式存储技术,在本系列中,我将详细演进如何在K8S集群中部署NFS。为了使得大家比较容易理解,将文章分成4个部分。
第一部分:配置 NFS 服务器
第二部分:将 NFS 服务器文件夹挂载到每个节点的本地文件夹(本文)
第三部分:将Persistent Volume配置直接连接到 NFS 服务器
第四部分:创建Storage Class声明来自动创建Persistent Volume
写在前面
这一系列文章主要译自下面的文章,但由于k8s版本的原因导致一些功能不正常,我在部署过程中也遇到了一些问题,并得以解决。此外作者主要是在树莓派上完成部署,是ARM架构,因此一些脚本不能在在PC上正常工作,我也在文中加以修改,并给出了详细的解决办法。
https://levelup.gitconnected.com/how-to-use-nfs-in-kubernetes-cluster-configuring-the-nfs-server-1bf4116641d4
本文的源代码都是来自作者的github主页
https://github.com/fabiofernandesx/k8s-volumes
代码准备
访问https://github.com/fabiofernandesx/k8s-volumes 源码能查看部署脚本和一个简单的index.html文件。包括以下文件夹:
- [SampleSites],简单的网站程序
- [yml],K8S部署脚本
创建PV
使用以下脚本创建PV
apiVersion: v1
kind: PersistentVolume
metadata:
name: host-mapped-pv
spec:
storageClassName: manual
capacity:
storage: 10Mi
accessModes:
- ReadWriteMany
hostPath:
path: "/ssd/host-mapped"
注意使用的是 storageClassName: manual ,它 没有任何意义,您可以根据需要对其进行标记。 在这种情况下, k8s 将声明与最合适的持久卷匹配。此外,使用的挂载方式是hostPath,并挂载到本地的文件夹,这个文件夹是映射自NFS server的文件夹,因此就能实现数据持久化存储。
在yml/HostMapped文件夹,执行命令创建PV
kubectl apply -f hostMapped.volume.yml
查看pv情况
kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
host-mapped-pv 10Mi RWX Retain Bound pv-demo/host-mapped-pvc manual 9d
创建namespace
为了使这个 PV 可用,我们需要为我们的应用程序声明namespace。 与 PV 不同,持久卷声明 (PVC) 可以是命名空间的一部分。 然后,让我们首先为这个演示创建一个命名空间,然后创建一个 PVC 来使用这 10MB 的可用存储空间。
我们可以通过命令创建命名空间,也可以使用声明文件来创建namespace,使用文件是一个更加便于管理的方式,以使所有内容都有详细记录并易于理解。下面是namespace的yml文件
apiVersion: v1
kind: Namespace
metadata:
labels:
app: pv-demo
name: pv-demo
执行下面的命令来创建namespace,可以看到pv-demo被成功创建。
kubectl apply -f ../namespace.yml
kubectl get namespaces
deploy@master-node:~$ kubectl get namespaces
NAME STATUS AGE
default Active 41d
kube-node-lease Active 41d
kube-public Active 41d
kube-system Active 41d
pv-demo Active 9d
创建PVC
使用下面的yml文件创建PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
namespace: pv-demo
name: host-mapped-pvc
spec:
storageClassName: manual
accessModes:
- ReadWriteMany
resources:
requests:
storage: 10Mi
执行命令来创建pvc,再重新检测pv,可以看到pv已经绑定到了pvc上。
kubectl apply -f hostMapped.claim.yml
kubectl get pv
deploy@master-node:~$ kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
host-mapped-pv 10Mi RWX Retain Bound pv-demo/host-mapped-pvc manual 9d
我们也可以检测pvc,看到已经关联上了pv。
deploy@master-node:~$ kubectl get pvc -n pv-demo
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
host-mapped-pvc Bound host-mapped-pv 10Mi RWX manual 9d
使用pvc
pv和pvc都已经创建完成,现在通过一个nginx发布一个简单的网站程序来使用pvc。实现很简单,是使用Nginx反向代理一个文件夹,把网站内容拷贝到这个文件夹下面。下面是deployment的yml文件
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: host-mapped-site
namespace: pv-demo
name: host-mapped-nginx
spec:
replicas: 1
selector:
matchLabels:
app: host-mapped-site
template:
metadata:
labels:
app: host-mapped-site
spec:
volumes:
- name: host-mapped-nfs
persistentVolumeClaim:
claimName: host-mapped-pvc
containers:
- image: nginx
name: host-mapped-site
volumeMounts:
- name: host-mapped-nfs
mountPath: /usr/share/nginx/html
这个deployment文件就不过多解释了,注意volumes spec和volumeMounts,将容器的/usr/share/nginx/html文件夹挂载到持久存储host-mapped-pvc上,这样就将持久存储文件挂载到了容器内的文件夹。
执行以下命令,
kubectl apply -f hostMapped.deploy.yml
kubectl get deployment -n pv-demo
deploy@master-node:~$ kubectl get deployment -n pv-demo
NAME READY UP-TO-DATE AVAILABLE AGE
host-mapped-nginx 1/1 1 1 9d
拷贝网站程序到NFS server
使用scp命令远程拷贝index.html到NFS server的ssd/host-mapped文件夹
sudo scp index.html 192.168.2.30:/ssd/host-mapped
创建service
创建service来访问我们的服务,yml文件如下:
apiVersion: v1
kind: Service
metadata:
name: host-mapped-service
namespace: pv-demo
spec:
selector:
app: host-mapped-site
ports:
- protocol: TCP
port: 80
使用下面的命令创建service
kubectl apply -f hostMapped.service.yml
deploy@master-node:~$ kubectl get svc -n pv-demo
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
host-mapped-service ClusterIP 10.106.153.106 <none> 80/TCP 8d
访问服务
使用clusterip的方式访问此服务,我们的url如下:
curl http://10.106.153.106
可以查看该网站内容.也可以进入到容器内使用dns来查看网站内容.
kubectl exec -it -n pv-demo host-mapped-nginx-74f678cbb7-q2266 -- curl http://host-mapped-service.pv-demo.svc.cluster.local