[TOC]
一、Ceph集群规划
系统类型： Centos7.5
ceph版本： v13.2.7 mimic
| 主机名 | IP地址 | 角色 | 数据盘 |
|---|---|---|---|
| ceph-node1 | 172.16.0.122 | mon、mgr、osd、deploy | /dev/sdb/ |
| ceph-node1 | 172.16.0.123 | mon、mgr、osd | /dev/sdb/ |
| ceph-node1 | 172.16.0.124 | mon、mgr、osd | /dev/sdb/ |
二、安装部署
1、预检
host解析
时间同步
ssh免密登录，deploy节点需要ssh免密登录到所有的node节点
关闭防火墙
关闭selinux
2、部署
(1)、所有节点配置yum源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
cat << EOF > /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://download.ceph.com/rpm-mimic/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-mimic/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://download.ceph.com/rpm-mimic/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
EOF
(2)、deploy节点安装ceph-deploy并初始化集群
在node1安装ceph-deploy工具
# sudo yum -y install ceph-deploy
# ceph-deploy --version
2.0.1
创建目录，用于保存执行ceph-deploy时产生的文件
mkdir /data/ceph-cluster/ && cd /data/ceph-cluster/
初始化集群
ceph-deploy new ceph-node1 ceph-node2 ceph-node3
修改配置文件
cat ceph.conf
[global]
fsid = 51fd080e-722e-4c53-9c48-c6bbddef663a
mon_initial_members = ceph-node1, ceph-node2, ceph-node3
mon_host = 172.16.0.122,172.16.0.123,172.16.0.124
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public network = 172.16.0.0/24
osd_pool_default_size = 2
配置的含义：
fsid：文件系统id
mon_initial_members：监视器主机名
mon_host：监视器IP地址
cephx：表示开启认证
public network：指定public网络
在三个节点安装ceph
ceph-deploy install --release mimic ceph-node1 ceph-node2 ceph-node3
开始部署monitor
ceph-deploy mon create-initial
拷贝配置文件及admin密钥到各ceph节点
ceph-deploy admin ceph-node1 ceph-node2 ceph-node3
创建ceph管理进程服务
ceph-deploy mgr create ceph-node1 ceph-node2 ceph-node3
查看集群状态,osd未创建
# ceph -s
cluster:
id: aa6f450a-613a-435d-ace3-4e1a4c8d231a
health: HEALTH_OK
services:
mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3
mgr: ceph-node1(active), standbys: ceph-node2, ceph-node3
osd: 0 osds: 0 up, 0 in
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 0 B used, 0 B / 0 B avail
pgs:
创建osd
注意：如果磁盘已存在分区需要执行zap命令，删除分区和磁盘内容，然后再执行create
ceph-deploy disk zap ceph-node1 /dev/sdb
ceph-deploy disk zap ceph-node2 /dev/sdb
ceph-deploy disk zap ceph-node3 /dev/sdb
ceph-deploy osd create --data /dev/sdb ceph-node1
ceph-deploy osd create --data /dev/sdb ceph-node2
ceph-deploy osd create --data /dev/sdb ceph-node3
再次查看集群状态
#ceph -s
cluster:
id: aa6f450a-613a-435d-ace3-4e1a4c8d231a
health: HEALTH_OK
services:
mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3
mgr: ceph-node1(active), standbys: ceph-node2, ceph-node3
osd: 3 osds: 3 up, 3 in
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 3.0 GiB used, 57 GiB / 60 GiB avail
pgs:
(3)、ceph启用dashboard
启用dashboard
ceph mgr module enable dashboard
为dashboard生成自签名证书，使用https访问
ceph dashboard create-self-signed-cert
为dashboard绑定IP和端口
ceph config set mgr mgr/dashboard/server_addr 172.16.0.122
ceph config set mgr mgr/dashboard/server_port 7000
重启一下mgr
sudo systemctl restart ceph-mgr@ceph-node1
查看服务
sudo ceph mgr services
{
"dashboard": "https://172.16.0.122:9000/"
}
更新dashboard账号密码
ceph dashboard set-login-credentials admin Zywlw@2019
登录dashboard
https://172.16.0.122:9000/
(4)、取消部署ceph
如果部署失败，可以执行如下命令清除各节点上的软件及部署时生成的文件;
ceph-deploy purge {ceph-node}
ceph-deploy purgedata {ceph-node}
ceph-deploy forgetkeys
三、ceph常用命令
1、集群监控
#检查集群健康状况，正常返回HEALTH_OK
ceph health
如果配置文件或密钥不在默认路径，需要指定：
ceph -c /path/to/conf -k /path/to/keyring health
#检查集群状态，返回集群健康状态、服务状态以及数据状态
ceph status 或者 ceph –s
#检查集群的使用情况，返回集群整体使用情况和各个存储池的使用情况
ceph df
#检查OSD状态
ceph osd stat 或者 ceph osd dump 或者 ceph osd tree
#检查监视器状态
ceph mon stat 或者 ceph mon dump
#检查MDS状态
ceph mds stat 或者 ceph mds dump
2、存储池
#列出存储池
ceph osd lspools
#创建存储池
##副本类型
ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] [crush-ruleset-name] [expected-num-objects]
##纠删类型(类似于RAID5)
ceph osd pool create {pool-name} {pg-num} {pgp-num} erasure [erasure-code-profile] [crush-ruleset-name] [expected_num_objects]
##必需参数：
pool-name 池名称
pg-num 存储池拥有的归置组总数
少于5个OSD时可把pg_num设置为128
OSD数量在5到10个时，可把pg_num设置为 512
OSD数量在10到50个时，可把pg_num设置为4096
pgp-num用于归置的归置组总数，一般等于归置组总数
#设置存储池配额
ceph osd pool set-quota {pool-name} [max_objects {obj-count}] [max_bytes {bytes}]
#删除存储池
ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]
#重命名存储池
ceph osd pool rename {current-pool-name} {new-pool-name}
#查看存储池统计信息
rados df
3、用户管理
#罗列用户
ceph auth list
#获取用户信息，包括用户密钥、能力（用户的权限）
ceph auth get {TYPE.ID}
#新增用户
##直接添加用户并指定能力
ceph auth add client.john mon 'allow r' osd 'allow rw pool=liverpool'
##常用的添加用户并指定能力，会以标准格式返回用户名称和key，如果用户已存在，会直接返回用户名和key
ceph auth get-or-create client.paul mon 'allow r' osd 'allow rw pool=liverpool'
##在上条命令基础上，将返回保存到文件中
ceph auth get-or-create client.george mon 'allow r' osd 'allow rw pool=liverpool' -o george.keyring
##添加用户并指定能力，只返回key，-o表示将返回保存到文件
ceph auth get-or-create-key client.ringo mon 'allow r' osd 'allow rw pool=liverpool' -o ringo.key
#修改用户能力，ceph auth caps会覆盖当前能力，如果新增能力时注意在命令中加上当前能力
ceph auth caps USERTYPE.USERID {daemon} 'allow [r|w|x|*|...] [pool={pool-name}] [namespace={namespace-name}]' [{daemon} 'allow [r|w|x|*|...] [pool={pool-name}] [namespace={namespace-name}]']
#删除用户，其中 {TYPE} 是 client 、 osd 、 mon 或 mds 之一， {ID} 是用户名或守护进程的 ID
ceph auth del {TYPE}.{ID}
#查看用户密钥
ceph auth print-key {TYPE}.{ID}
#导入用户
ceph auth import -i /path/to/keyring
