今天加班,按下不表,周六555。
早上来了发现类生产环境k8s的各个小伙伴(apiserver、scheduler、controller-manager、kube-proxy、kubelet共5个贴身小伙伴,etcd还幸存着)都罢工歇菜了,然后systemctl restart xxx各种拉不起来,df -h一看,磁盘空间满了。
那还愣着干嘛,这个虚拟机上只有k8s会产生大量文件,那就是日志文件,删日志呗!!
尼玛,两天的日志打了40-50G左右,最后把磁盘空间打爆了,然后所有相关进程都退了,也就把自己打死了。额,一个有点悲伤又有点残暴的故事。。。
补充:
k8s每个组件都有日志级别配置(/usr/lib/systemd/system/xxx.service配置文件路径,共5个),当前设置的是4(调试级别),0是最低,2和3是官方推荐。