1. librbd & librados介绍
Librbd模块实现了RBD接口，其基于Librados实现了对RBD的基本操作。
1.1 架构概述
上层应用访问RBD块设备有两种途径：librbd和krbd。其中librbd是一个基于librados的用户态接口库，而krbd是继承在GNU/Linux内核中的一个内核模块，通过用户态的rbd命令行工具，可以将RBD块设备映射为本地的一个块设备文件。
从RBD的架构图中可以看到，RBD块设备由于元数据信息少且访问不频繁，故RBD在Ceph集群中不需要daemon守护进程将元数据加载到内存进行元数据访问加速，所有的元数据和数据操作直接与集群中的MON服务和OSD服务交互。其架构图如下：
最上层是librbd层，模块cls_rbd是一个Cls扩展模块，实现了RBD的元数据相关的操作。RBD的数访问直接通过Librados来访问。在最底层是OSDC层完成数据的发送。
1.2 源码结构
1.2.1 librbd
在src/librbd和路径下为librbd的源码，其中分为.cc文件.h文件和子目录，文件的大致内容为：
1..cc & .h 文件：对应组件的源代码，其中.h为头文件，具体的实现在.cc中；
2.子目录：子目录中文件为针对每个模块的请求，如针对librbd/operation.cc组件，存在路径operation，路径中文件为
可见相应目录中为对应组件的请求的实现，这些请求发送到rados，进而实现对osd的操作。
1.2.2 librados
src/librados中为librados的源码，内容如下
与librbd目录下源码相比，librados中的源码内容相对较少，librados.cc中负责接口的封装，具体的实现细节在IoCtxImpl.cc中。
2 librados & librbd API介绍
2.1 源码概览
ceph封装的接口源码位于src/pybind/路径下，其中子目录下的.pyx文件为api接口源码，文件结构如图
2.2 主要操作介绍
对于librbd和librados提供的python api接口，本文重点关注以下操作：
1. pool的创建和删除；
2. image的创建和删除；
3. snapshot的创建、利用snapshot进行clone操作、snapshot的删除；
4. image flatten操作。
下文将按照{create pool} -> {create image} -> {create snapshot} -> {image clone} -> {image flatten} -> {delete snapshot} -> {delete image} -> {delete pool}的顺序来依次介绍上述操作的api接口调用。
2.2.1 准备工作：创建链接
在所有的操作之前，首先需要创建对集群的连接，才能进行进一步的操作：
import rados
import rbd
# connect to cluster
cluster = rados.Rados(conffile='/etc/ceph/ceph.conf')
cluster.connect()
2.2.2 创建存储池，并获取ioctx
创建了对集群的connection之后，就可以创建存储池，并获取ioctx：
# list pool
before_create = cluster.list_pools()
print("before create pools: {0}".format(before_create))
# create pool
cluster.create_pool(POOL)
# list pool
after_create = cluster.list_pools()
print("after create pools: {0}".format(after_create))
# get ioctx
ioctx = cluster.open_ioctx(POOL)
注意：
1. 这里create_pool()接口的输入不包括pg和pgp，因为pgp和pg的数量在api中是根据ceph.conf中参数设置
# /etc/ceph/ceph.conf
osd_pool_default_pg_num = {int}
osd_pool_default_pgp_num = {int}
2.2.3 创建image
创建存储池并获取ioctx，就可以开始创建rbd image了
rbd_inst = rbd.RBD()
size = 4 * 1024**3
rbd_inst.create(ioctx, “myimage”, size)
img_list = rbd_inst.list(ioctx)
print("after create images {0}".format(img_list))
注意：
1. 在哪个pool中创建image，ioctx就从哪个pool中获取；
2. image创建必须显式指定大小，size计算值为bytes。
2.2.4 创建snapshot
rbd image创建之后，就可以根据image创建snapshot了。
# create snapshot
print("start to create snapshot")
rbd_img = rbd.Image(ioctx, name=IMG)
rbd_img.create_snap(SNP)
# list snapshot
print("list snapshot")
snap_list = rbd_img.list_snaps()
for item in snap_list:
print(item['name'])
注意：
1. 使用的是img.Image()类，与2.2.2区分；
2. snap_list的类型为rbd.SnapIterator(Image image)，使用for循环迭代的元素为dict，其中有三个key：id(int: numeric identifier of the snapshot), size(int: size of theimage at the time of snapshot (in bytes)), name(str: name of the snapshot).
2.2.5 使用snapshot clone rbd image
如果需要使用snapshot克隆image，需要首先对snapshot进行保护，之后才能进行clone操作。
# protect snapshot
rbd_img.protect_snap(SNP)
is_protect = rbd_img.is_protected_snap(SNP)
print("{0} protected status:{1}".format(SNP, is_protect))
# image clone
print("clone image")
# parent_ioctx, parent_image_name,parent_snap_name, child_ioctx, child_image_name
rbd_inst.clone(ioctx, “myimage”,“mysnapshot”, ioctx, “clnimg”)
img_list = rbd_inst.list(ioctx)
print("after clone image: {0}".format(img_list))
注意：
1. rbd.Image()需要与保护的snpashot一致(即在初始化时需要提供该snapshot隶属的pool的ioctx和image的name)；
2. clone()函数必须传入的五个变量:
(1) parent_ioctx: snapshot父类的ioctx;
(2) parent_image_name: 父image的名称;
(3) parent_snap_name: 父snapshot的名称；
(4) child_ioctx: 子image的ioctx；
(5) child_image_name: 子image名称；
如果clone之后的image和原来的image位于同一个pool，则两者的ioctx相同，反之需要从子image所属的pool获取子ioctx。
2.2.6 image flatten
image flatten操作使clone生成的rbd image摆脱对snapshot的依赖。
# image flatten
print("flatten image")
clone_img = rbd.Image(ioctx, name=”clnimg”)
clone_img.flatten()
注意：
1. 因为需要访问的是clone生成的新image，故需要新初始化一个rbd.Image()访问。
2.2.7 删除 snapshot / image / pool
# unprotect image
print("unprotect snapshot")
rbd_img.unprotect_snap(SNP)
is_protect = rbd_img.is_protected_snap(SNP)
print("{0} protected status:{1}".format(SNP, is_protect))
# purge snapshot
print("remove snapshot")
rbd_img.remove_snap(SNP)
# close image connection
rbd_img.clone()
clone_img.close()
# remove rbd image
print("remove rbd image")
rbd_inst.remove(ioctx, IMG)
rbd_inst.remove(ioctx, CLN)
注意：
1. 只有在snapshot下的所有image都进行flatten操作之后，才能够unprotect该snapshot；
2. 需要先关闭rbd.Image()对image的访问之后，才能移除rbd image。
2.2.7 关闭链接，终止对集群的访问
# close ioctx
print("close ioctx")
ioctx.close()
# delete pool
print("delete pool")
cluster.delete_pool(POOL)
after_delete = cluster.list_pools()
print("after delete pools: {0}".format(after_delete))
# close connection
print("close connection")
cluster.shutdown()
注意：
1. 顺序：{关闭ioctx} -> {删除pool} -> {关闭cluster链接}.
2.4 参考资料
1. librbd(python)
http://docs.ceph.com/docs/master/rbd/api/librbdpy/
2. librados(python)
http://docs.ceph.com/docs/master/rados/api/python/
