1. 故障现场
-
通过监控发现集群状态是HEALTH_ERR状态， 并且发现mds0: Metadata damage detected。 顾名思义，猜测应该是元信息损坏导致的。
image.png
2. 分析damage是啥原因导致
image.png
大概意思是：
- 从元数据存储池读取时，遇到了元数据损坏或丢失的情况。这条消息表明损坏之处已经被妥善隔离了，以使 MDS 继续运作，如此一来，若有客户端访问损坏的子树就返回 IO 错误。关于损坏的细节信息可用 damage ls 管理套接字命令获取。只要一遇到受损元数据，此消息就会立即出现。
3. 查看damage ls
-
通过指令查询到damage ls 显示的信息，可以发现里面有个ino编号。
image.png
4. 通过转换拿到十六进制ino
-
通过ino:1099519182934 -> ino: 10000734856
image.png
5. 检查是否属于目录(10000734856)
-
通过指令查找发现该ino确定是目录
image.png
6. 确定目录名
image.png
7. 该目录下面的所有文件
image.png
8. 查看fs挂载的目录是否匹配
ceph fs ls -f json-pretty
9. 修复这个目录元信息
ceph --admin-daemon /var/run/ceph/ceph-mds.00.asok scrub_path /dir repair
image.png
10. 跟踪代码
参考文件：
- https://github.com/ceph/ceph/blob/5cdf9c3380098f5d2b1d988ab623c74baad55ee3/src/mds/MDSRank.cc#L2245
- https://github.com/ceph/ceph/blob/5cdf9c3380098f5d2b1d988ab623c74baad55ee3/src/mds/MDCache.cc#L12197
image.png
image.png
11. 总结
11.1 问题过程回顾
- 集群ERR
- 发现mds0: Metadata damage detected
- 查看damage ino
- 根据ino定位跟踪目录
- 根据目录名知道业务存储的数据
- 修复问题
12. 修复方案
12.1方案一：删除ino对应的目录（生产环境实战演练过)
1.业务方备份迁移数据
2.查看damage ls
image.png
3.检查该ino确实没有对应的目录
image.png
4.删除damage rm信息
image.png
5.检查集群状态(集群状态从ERR恢复到WARN)
image.png
12.2 方案二：修复该目录元信息
1.通过指令修复目录
ceph --admin-daemon /var/run/ceph/ceph-mds.ceph-newpublic-osd02.py.asok scrub_path /dir/xxx repair
