ceph-csi代码分析-块设备挂载

简要介绍CSI和Ceph-CSI中RBD块设备挂载的流程的实现。

csi

container storage interface旨在为容器编排引擎和存储系统间建立一套标准的存储调用接口，通过该接口能为容器编排引擎提供存储服务。

The Container Storage Interface (CSI) is a standard for exposing arbitrary block and file storage systems to containerized workloads on Container Orchestration Systems (COs) like Kubernetes.

第三方存储，比如ceph、glusterfs，需要实现两种形式的服务nodeplugin（csi-plugin NodeServer）和provisioner（csi-plugin ControllerServer）。

nodeplugin在每个节点上运行，作为grpc服务，执行具体的卷操作。必须实现Identity RPC和节点RPC（CSI Identity，CSI Node 接口），以DaemonSet方式运行。DaemonSet在每个节点上只运行一个pod副本。

provisioner执行全局性的存储操作，比如创建、删除网络卷。必须实现Identity RPC和控制节点RPC（CSI Identity，CSI Controller 接口）。以StatefulSet方式运行。

相同image不同配置

rbd-csi在nodeserver上以nodeplugin方式运行，在controllerserver上以provisioner方式运行。具体实现均是非阻塞的grpc服务，可满足k8s对于ceph块设备的需求。

部署rbd-csi，需要对image进行不同的设置，运行在nodeserver的yaml配置

        - name: csi-rbdplugin
          securityContext:
            privileged: true
            capabilities:
              add: ["SYS_ADMIN"]
            allowPrivilegeEscalation: true
          # for stable functionality replace canary with latest release version
          image: quay.io/cephcsi/cephcsi:canary
          args:
            - "--nodeid=$(NODE_ID)"
            - "--type=rbd"
            - "--nodeserver=true"  
            - "--endpoint=$(CSI_ENDPOINT)"
            - "--v=5"
            - "--drivername=rbd.csi.ceph.com"
            - "--enableprofiling=false"

运行在controllerserver的yaml配置

        - name: csi-rbdplugin
          securityContext:
            privileged: true
            capabilities:
              add: ["SYS_ADMIN"]
          # for stable functionality replace canary with latest release version
          image: quay.io/cephcsi/cephcsi:canary
          args:
            - "--nodeid=$(NODE_ID)"
            - "--type=rbd"
            - "--controllerserver=true"
            - "--endpoint=$(CSI_ENDPOINT)"
            - "--v=5"
            - "--drivername=rbd.csi.ceph.com"
            - "--pidlimit=-1"
            - "--rbdhardmaxclonedepth=8"
            - "--rbdsoftmaxclonedepth=4"
            - "--enableprofiling=false"

选项--nodeserver和--controllerserver决定了以何种方式运行。

接口实现

作为rbd-csi实现了csi的三类接口。

• CSI Controller接口

创建卷、创建快照、删除快照、删除卷等比较宏观的卷操作。

• CSI Node接口

实现在工作节点上的行为， 比如挂载、卸载卷，获得卷的统计信息。

• CSI Identity接口

实现了获取插件能力的接口。

rbd部分主要代码实现位于ceph-csi/internals/rbd内。

Node接口

卷的挂载和Node接口相关，按照csi的实现规范，rbd-csi实现了7个Node接口。

挂载流程

挂载之前该卷已经创建。

挂载流程示意.png

挂载的过程：
0、记录RBD镜像元数据信息。比如image使用的池、是否加密等。记录在本地文件中。
1、map rbd image。对应rbd map <pool>/<image>命令。
2、创建挂载目录。对应mkdir调用。
3、创建设备上的文件系统。mkfs.xfs或者mkfs.ext4程序创建文件系统，如果是裸块类型则该步跳过。
4、挂载块设备。对应mount调用。

事务的方式

挂载流程主要在func (ns *NodeServer) stageTransaction以事务的方式实现。

使用结构体stageTransaction 记录一次挂载事务的状态信息。

type stageTransaction struct { 
    // 挂载的路径是否创建成功
    isStagePathCreated bool 
    // 挂载是否成功
    isMounted bool
    // 卷是否加密 
    isEncrypted bool 
    // rbd 镜像映射的位置 
    devicePath string
}

在操作阶段对状态信息进行变更。

transaction.isMounted = true

出现问题或者最终事务执行完成返回事务状态信息。

if err != nil {         
    return transaction, err 
}

以事务的方式支持回滚。undoStagingTransaction的方法来处理。

defer func() {        
    if err != nil {                 
        ns.undoStagingTransaction(ctx, req, transaction, volOptions)         
    } 
}()

func (ns *NodeServer) undoStagingTransaction函数按照逆向func (ns *NodeServer) StageTransaction的流程进行处理。标志位状态不同，开始执行的流程位置存在不同。一般流程为：
1、从路径上卸载，对应umount调用；
2、删除该路径， 对应remove调用；
3、解除块设备在节点上的映射，对应rbd unmap操作；
4、清除本地块设备元数据记录信息，对饮remove调用删除文件。

裸块还是文件系统？

func (ns *NodeServer) mountVolumeToStagePath函数执行对块设备的挂载操作。isBlock代表使用裸块还是带有文件系统的块设备。将会以不同的命令进行处理并挂载。

if isBlock {         
   opt = append(opt, "bind")         
   err = diskMounter.Mount(devicePath, stagingPath, fsType, opt) 
} else {         
   err = diskMounter.FormatAndMount(devicePath, stagingPath, fsType, opt) 
}