在 Ubuntu 20.04 上安装和设置 Ceph 存储集群
ceph version 16.2.9
官方地址:
https://docs.ceph.com/en/latest/cephadm/install/#cephadm-deploying-new-cluster
Ceph 存储集群设置至少需要三个 Ceph moniter、Ceph Manager 和 Ceph OSD(对象存储守护程序),并且可能是用于提供 Ceph 文件系统存储的 Ceph 元数据服务器。
Ceph 管理节点 (cephadm
)
- 它是安装 Ceph 部署脚本 (cephadm) 的节点。
Ceph 对象存储守护进程 (OSD,ceph-osd)
它提供了 ceph 对象数据存储。
它还执行数据复制、数据恢复、重新平衡,并向 Ceph Monitor 提供存储信息。
Ceph Monitor (ceph-mon)
它维护整个 ceph 集群状态的映射,包括监视器映射、管理器映射、OSD 映射和 CRUSH 映射。
管理守护程序和客户端之间的身份验证
Ceph Manager(ceph-mgr)
跟踪运行时指标和 Ceph 集群的当前状态,包括存储利用率、当前性能指标和系统负载。
管理 Ceph 集群 Web 仪表板和 API。
HA 至少需要两个ceph-mgr。
系统要求
Python 3
Systemd
Docker for running
Time synchronization
LVM2 for provisioning storage devices.
安装ceph
创建管理节点
管理节点机器免密登录其它节点
# ssh-keygen
采用cephadm 的方式安装 ,docker-ce lvm2 osd 节点安装
# apt update
# apt install docker-ce lvm2
# apt install cephadm
引导新集群 mon-ip 实际的主机ip 地址
cephadm bootstrap --mon-ip *<mon-ip>* 命令执行完后需等待,docker 应用启动
# docker ps 查看安装ceph 管理软件
执行完成后输出的内容
Ceph Dashboard is now available at:
URL: https://ceph01:8443/
User: admin
Password: 557k1ezodda
Enabling client.admin keyring and conf on hosts with "admin" label
Enabling autotune for osd_memory_target
You can access the Ceph CLI as following in case of multi-cluster or non-default config:
sudo /usr/sbin/cephadm shell --fsid dafadjli97-11ed-8e66-053247411313 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
执行命令,查看ceps -s 集群
Or, if you are only running a single cluster on this host:
sudo /usr/sbin/cephadm shell
Please consider enabling telemetry to help improve Ceph:
ceph telemetry on
For more information see:
https://docs.ceph.com/en/pacific/mgr/telemetry/
管理服务器安装cephadm 命令,不用启动容器执行命令了 ceps -s
# cephadm install ceph-common
# ceph -s
cluster:
id: dfadfsdfs-dfsdfec-9776-abbffb8adfsad
health: HEALTH_WARN
OSD count 0 < osd_pool_default_size 3
services:
mon: 1 daemons, quorum ceph-admin (age 23m)
mgr: ceph-admin.yxxusl(active, since 20m)
osd: 0 osds: 0 up, 0 in
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 0 B used, 0 B / 0 B avail
pgs:
查看有哪些主机 ,如果命令执行后没反应,重启docker ceph 服务 docker restart ID
# ceph orch host ls
ceph01 127.0.0.1 _admin mon/osd
添加集群节点
待续。。。
列出ceph 集群节点
待续。。。
设置集群节点标签
待续。。。
添加存储
列出设备
待续。。。
部署osd
待续。。。
删除osd
待续。。。
设置pg 放置组的数量
待续。。。