一个最小的redis集群，需要3个主节点，以及3个从节点，每个主节点对应一个从节点，主从做数据备份，主节点间做数据分片。当Master掉线后,redis cluster集群会从多个Slave中选举出来一个新的Matser作为代替,而旧的Master重新上线后变成 Master 的Slave。
在k8s上部署redis集群，需要对每个节点的配置和数据做持久化，并且要确保节点pod重建以后，配置和数据不变，并可以自动将新的pod ip注册到集群。
因此需要结合StatefulSets（有状态集）服务和持久卷来确保redis集群的正确运行。
Statefulset 的设计原理模型:
- 拓扑状态:
应用的多个实例之间不是完全对等的关系,这个应用实例的启动必须按照某些顺序启动,比如应用的主节点 A 要先于从节点 B 启动。而如果你把 A 和 B 两个Pod删除掉,他们再次被创建出来是也必须严格按照这个顺序才行,并且,新创建出来的Pod,必须和原来的Pod的网络标识一样,这样原先的访问者才能使用同样的方法,访问到这个新的Pod。
- 存储状态:
应用的多个实例分别绑定了不同的存储数据.对于这些应用实例来说,Pod A第一次读取到的数据,和隔了十分钟之后再次读取到的数据,应该是同一份,哪怕在此期间Pod A被重新创建过.一个数据库应用的多个存储实例。
使用statefulset服务部署，无论是Master 还是 slave都作为statefulset的一个副本,通过pv/pvc进行持久化,对外暴露一个service 接受客户端请求。
存储类
首先需要准备好nfs 服务器，并在kubernetes中注册nfs 存储类，作为持久卷的来源。
基于StorageClass的动态存储供应整体过程如下图所示：
1）集群管理员预先创建存储类（StorageClass）；
2）用户创建使用存储类的持久化存储声明(PVC：PersistentVolumeClaim)；
3）存储持久化声明通知系统，它需要一个持久化存储(PV: PersistentVolume)；
4）系统读取存储类的信息；
5）系统基于存储类的信息，在后台自动创建PVC需要的PV；
6）用户创建一个使用PVC的Pod；
7）Pod中的应用通过PVC进行数据的持久化；
8）而PVC使用PV进行数据的最终持久化处理。
使用nfs-client-provisioner 来创建nfs存储类：
- 创建serviceaccount并授权
- 创建nfs-client-provisioner服务，指定nfs服务器地址及目录
- 根据nfs-client-provisioner创建存储类。
可以使用kubectl应用文件，或者在rancher项目中导入yml文件
#创建serviceaccount及授权
---
kind: ServiceAccount
apiVersion: v1
metadata:
name: nfs-client-provisioner
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: nfs-client-provisioner-runner
rules:
- apiGroups: [""]
resources: ["persistentvolumes"]
verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
resources: ["storageclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["events"]
verbs: ["list", "watch", "create", "update", "patch"]
- apiGroups: [""]
resources: ["endpoints"]
verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: run-nfs-client-provisioner
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
namespace: default
roleRef:
kind: ClusterRole
name: nfs-client-provisioner-runner
apiGroup: rbac.authorization.k8s.io
#部署nfs-client-provisioner
---
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
name: nfs-client-provisioner
spec:
replicas: 1
strategy:
type: Recreate
template:
metadata:
labels:
app: nfs-client-provisioner
spec:
serviceAccountName: nfs-client-provisioner
containers:
- name: nfs-client-provisioner
image: quay.io/external_storage/nfs-client-provisioner:latest
#image: quay.io/external_storage/nfs-client-provisioner:v2.1.2-k8s1.11
volumeMounts:
- name: nfs-client-root
mountPath: /persistentvolumes
env:
- name: PROVISIONER_NAME
value: nfs-client-provisioner
# value: fuseim.pri/ifs
#注意这里指定nfs服务器地址，以及nfs目录
- name: NFS_SERVER
value: 172.19.74.250
- name: NFS_PATH
value: /app/nfs/data
volumes:
- name: nfs-client-root
#注意这里指定nfs服务器地址，以及nfs目录
nfs:
server: 172.19.74.250
path: /app/nfs/data
#使用自定义的nfs提供方创建存储类
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-storage
provisioner: nfs-client-provisioner
nfs-client-provisioner服务
nfs-storage存储类
创建redis集群服务
应用如下yml
#创建配置映射
---
apiVersion: v1
kind: ConfigMap
metadata:
name: redis-cluster
data:
update-node.sh: |
#!/bin/sh
REDIS_NODES="/data/nodes.conf"
sed -i -e "/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/${POD_IP}/" ${REDIS_NODES}
exec "$@"
redis.conf: |+
cluster-enabled yes
cluster-require-full-coverage no
cluster-node-timeout 15000
cluster-config-file /data/nodes.conf
cluster-migration-barrier 1
appendonly yes
protected-mode no
#创建statefulset服务
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: redis-cluster
spec:
serviceName: redis-cluster
replicas: 6
selector:
matchLabels:
app: redis-cluster
template:
metadata:
labels:
app: redis-cluster
spec:
containers:
- name: redis
image: redis:alpine
ports:
- containerPort: 6379
name: client
- containerPort: 16379
name: gossip
command: ["/conf/update-node.sh", "redis-server", "/conf/redis.conf"]
env:
- name: POD_IP
valueFrom:
fieldRef:
fieldPath: status.podIP
volumeMounts:
- name: conf
mountPath: /conf
readOnly: false
- name: data
mountPath: /data
readOnly: false
volumes:
- name: conf
configMap:
name: redis-cluster
defaultMode: 0755
#pvc模板
volumeClaimTemplates:
- metadata:
name: data
#指定存储类为nfs-storage
annotations:
volume.beta.kubernetes.io/storage-class: nfs-storage
spec:
accessModes: [ "ReadWriteOnce" ]
resources:
requests:
#指定持久卷大小
storage: 1Gi
#创建服务发现，生成集群ip负载到redis集群的6个节点
---
apiVersion: v1
kind: Service
metadata:
name: redis-cluster
spec:
type: ClusterIP
ports:
- port: 6379
targetPort: 6379
name: client
- port: 16379
targetPort: 16379
name: gossip
selector:
app: redis-cluster
以下是应用的结果说明，基于rancher界面
1. 创建配置映射，保存redis集群的配置及update-node.sh脚本
2. 创建StatefulSet服务，指定6个pod
获取实时pod ip，以便更新集群注册
指定configmap数据卷，映射redis配置文件
指定pvc模板数据卷，映射redis数据目录
3. 配置服务发现
4. 创建成功以后，自动生成pod
5. 创建成功以后，自动生成的持久卷，每个pod绑定一个持久卷，pod重建以后，会绑定到同样的持久卷，确保了配置和数据不变。
注册redis集群
集群pod创建好以后，还需要注册成为cluster，分配主从角色，使用kubectl命令，进入redis-cluster-0pod命令行，执行redis-cli集群注册。节点ip为pod ip。
kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 ')
查看集群信息
以上信息说明集群注册成功，并可以正常使用。
经过随机节点删除的故障测试，可以确定少数节点失效，对整个集群的可用性没有影响。
