ceph块存储介入openstack cinder
标签（空格分隔）： openstack
在ceph节点配置
- 创建pool
- ceph osd pool create volumes 128
- ceph osd pool create images 128
- ceph osd pool create vms 128
查看上面命令创建的pool
* ceph df
- 在ceph节点上创建用户client.cinder， 允许该用户访问volumes pool
ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes '
- cinder配置
- 拷贝ceph节点下 /etc/ceph/ceph.conf 到cinder节点
- 把client.cinder.keyring拷贝到cinder节点
ceph auth get-or-create client.cinder | ssh {your-volume-server} sudo tee /etc/ceph/ceph.client.cinder.keyring;- 更改ceph keyring 文件的组和用户
ssh {your-cinder-volume-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring;
注：cinder:cinder是openstack环境中的cinder 用户，按实际环境配置即可
- 给nova节点也添加下keyring
ceph auth get-or-create client.cinder | ssh {your-nova-compute-server} sudo tee /etc/ceph/ceph.client.cinder.keyring
- 给计算节点创建一个临时密钥备用
ceph auth get-key client.cinder | ssh {your-compute-node} tee client.cinder.key
- 在计算节点配置
1.使用uuidgen生成一个UUID
uuidgen
2a8fb24a-3a4b-4fd7-bcd5-4650a406cdc5
注：以下操作均在root用户根目录，不要切换到其他目录操作，因为之前拷贝的临时密钥就在这里
2.生成一个secret.xml文件备用
cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
<uuid>2a8fb24a-3a4b-4fd7-bcd5-4650a406cdc5</uuid>
<usage type='ceph'>
<name>client.cinder secret</name> // client.cinder_42 secret
</usage>
</secret>
EOF
- 从之前的xml文件定义一个secret
virsh secret-define --file secret.xml
4.给secret设值，UUID前后一定要一致
virsh secret-set-value --secret 2a8fb24a-3a4b-4fd7-bcd5-4650a406cdc5
--base64 $(cat client.cinder.key)
- 配置需要接入Ceph的cinder节点
编辑/etc/cinder/cinder.conf文件，修改或加入如下内容：
[DEFAULT]
...
如果想用多种cinder的后端，就都加上，以半角符号逗号隔开；
enabled_backends = ceph,lvm
[ceph]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
glance_api_version = 2
rbd_user = cinder
# UUID和之前的保持一致
rbd_secret_uuid = 2a8fb24a-3a4b-4fd7-bcd5-4650a406cdc5
- 重启服务，万事大吉
在所有改了配置文件的cinder节点重启下cinder-volume服务：
systemctl restart openstack-cinder-volume
