一、概述
本文从实战的角度，复盘故障并开始云平台稳定性建设。
二、k8s控制面稳定性建设
1.稳定性改进措施
从监控告警体系、部署架构和业务整改等三个维度进行k8s控制面稳定性建设：
k8s控制面稳定性建设
2.apiserver稳定性建设
apiserver稳定性建设
3.etcd稳定性建设
etcd稳定性建设
4.kube-controller-manager稳定性建设
controller稳定性建设
三、宿主机巡检
1.宿主机故障
- 硬件故障（cpu/内存/磁盘/网络......)
- 组件故障（docker/calico/kubelet......)
2.热点宿主机
- cpu
-
load
浴盆曲线
2.监控告警维护
从故障发现、故障上报、故障自愈、故障自动化处理、故障手动处理等步骤逐级上升处理：
- 检测kubelet是否存活
- 检测dockerd是否存活
- 检测calico agent是否存活
- 检测容器占用磁盘>90%
- 检测可用内存<20%
- 检测load > 60
- 分析dmesg和kmesg日志，提前发现硬件故障
3.热点宿主机治理
- 调度策略
集中调度，减少资源碎片
基于真实负载进行调度 - 重调度
cpu
load - 监控告警
人工审计
一键打散
4.异常pod巡检
- 基于kube-state-metrics
- 基于namespace维度监控告警
Pending
Terminating
ImageError
四、网络可观测性建设
1.监控维度
监控维度
2.宿主机网络精细化监控
宿主机网络精细化监控
3.同宿主机实例聚合监控
同宿主机实例聚合监控
五、镜像管理
1.现状
现状
2.ceph性能提升
ceph性能提升
3.镜像分层
镜像分层
