离线加载镜像
# 可以访问外网的机器下载镜像
docker pull k8s.gcr.io/sig-storage/csi-provisioner:v2.0.4
docker pull k8s.gcr.io/sig-storage/csi-snapshotter:v4.0.0
docker pull k8s.gcr.io/sig-storage/csi-attacher:v3.0.2
docker pull k8s.gcr.io/sig-storage/csi-resizer:v1.0.1
docker pull k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.0.1
docker pull quay.io/cephcsi/cephcsi:canary
# 保存镜像
docker save -o csi-provisioner k8s.gcr.io/sig-storage/csi-provisioner:v2.0.4
docker save -o csi-snapshotter k8s.gcr.io/sig-storage/csi-snapshotter:v4.0.0
docker save -o csi-attacher k8s.gcr.io/sig-storage/csi-attacher:v3.0.2
docker save -o csi-resizer k8s.gcr.io/sig-storage/csi-resizer:v1.0.1
docker save -o csi-node-driver-registrar k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.0.1
docker save -o cephcsi quay.io/cephcsi/cephcsi:canary
# 拷贝到服务器
scp -r rook-ceph_install_images 用户名@服务器ip:/home/用户名
# 服务器A分发到其他服务器
sudo docker load < csi-provisioner
sudo docker load < csi-snapshotter
sudo docker load < csi-attacher
sudo docker load < csi-resizer
sudo docker load < csi-node-driver-registrar
sudo docker load < cephcsi
安装过程
官方文档
#检查磁盘，需要没有分区，没有格式化的磁盘
# 如果 FSTYPE 字段不是空的，则在相应的设备上有一个文件系统。在这种情况下，可以为 Ceph 使用 vdb，而不能使用 vda 及其分区。
lsblk -f
#结果例子：
NAME FSTYPE LABEL UUID MOUNTPOINT
vda
└─vda1 LVM2_member >eSO50t-GkUV-YKTH-WsGq-hNJY-eKNf-3i07IB
├─ubuntu--vg-root ext4 c2366f76-6e21-4f10-a8f3-6776212e2fe4 /
└─ubuntu--vg-swap_1 swap 9492a3dc-ad75-47cd-9596-678e8cf17ff9 [SWAP]
vdb
#如果需要可以删除[dev]磁盘格式化信息和分区信息
sudo sgdisk --zap-all /dev/sdb
参考地址：http://docs.ceph.org.cn/man/8/ceph-disk/#id1
#安装rook-ceph
#查看内核版本必须大于4.17
uname -sr
#如果小于4.17就升级内核，具体方法自行百度，不赘述
sudo rm -rf /var/lib/rook
sudo rm -rf /var/lib/kubelet/plugins/*
sudo rm -rf /var/lib/kubelet/plugins_registry/*
git clone --single-branch --branch v1.6.5 https://github.com/rook/rook.git
cd rook/cluster/examples/kubernetes/ceph
sudo kubectl apply -f crds.yaml -f common.yaml -f operator.yaml
sudo kubectl apply -f cluster.yaml
# 删除ceph
# sudo kubectl delete -f crds.yaml -f common.yaml -f operator.yaml
# sudo kubectl delete -f cluster.yaml
#查看pod是否有osd相关pod
#需要重启时候重启rook-ceph-operator
kubectl rollout restart deploy rook-ceph-operator -n rook-ceph
#查看rook-ceph命名空间下的所有服务
kubectl get service -n rook-ceph
#暴露端口
kubectl apply -f dashboard-external-https.yaml
#查看暴露的端口
kubectl get svc -n rook-ceph | grep mgr-dashboard
#获取登录密码，访问地址，注意是https，http会访问不成功
https://服务器ip:31866
#默认用户名为admin，密码获取方式执行如下命令
kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}" | base64 --decode && echo
创建存储类
创建块存储类
cd ~/rook/cluster/examples/kubernetes/ceph
kubectl apply -f ./csi/rbd/storageclass.yaml
创建共享文件系统存储类
建议参考官方文档，可能会有更新
官网文档
cd ~/rook/cluster/examples/kubernetes/ceph
kubectl apply -f filesystem.yaml
kubectl apply -f ./csi/cephfs/storageclass.yaml
创建对象存储类
官网地址
#创建对象存储，对象存储类，对象存储桶
cd ~/rook/cluster/examples/kubernetes/ceph
kubectl apply -f object.yaml
kubectl apply -f storageclass-bucket-delete.yaml
kubectl apply -f object-bucket-claim-delete.yaml
cd ~/rook/cluster/examples/kubernetes/ceph
kubectl delete -f object.yaml
kubectl delete -f storageclass-bucket-delete.yaml
kubectl delete -f object-bucket-claim-delete.yaml
kubectl get cm ceph-delete-bucket -o jsonpath='{.data.BUCKET_HOST}'
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.AWS_ACCESS_KEY_ID}' | base64 --decode
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.AWS_SECRET_ACCESS_KEY}' | base64 --decode
#集群外部访问
kubectl apply -f rgw-external.yaml
kubectl apply -f object-user.yaml
#查看新建用户的AccessKey
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.AccessKey}' | base64 --decode
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.SecretKey}' | base64 --decode
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.Endpoint}' | base64 --decode
安装工具
cd ~/rook/cluster/examples/kubernetes/ceph
kubectl create -f toolbox.yaml
