kafka日志保留策略异常处理

问题现象

文件系统监控,以肉眼可见的速度增大使用空间


查看当前日志保留策略配置,关键配置如下:

存在风险

日志片大小设置为1G(log.segment.bytes默认大小也是1G),删除策略需要等到日志分片后才能被标记为删除,如没有设置分片时间的话,需要等写满日志片,或是等到7天(默认时间)没有数据写入后,才会自动分片。

针对问题处理方案

可以适当降低log.segment.bytes 大小为512M,设置segment.bytes 大小为 512M,手动设置分片时间 log.roll.hours ,

参考: kafka 数据定时删除实验

处理步骤

1.停止kafka服务

a) 找出kafka进程号,使用命令jps

b) 杀掉kafka进程,使用命令 kill -9 xxx

c) 查看当前kafka进程是否还存在,ps -ef|grep kafka jps

2.修改配置

vi $KAFKA_HOME/config/server.properties

修改配置:

log.segment.bytes=536870912

添加配置:

segment.bytes=536870912

log.roll.hours=12

3.启动kafka服务

./bin/start_kafka.sh

4.检查状态

ps -ef|grep kafka

jps

5.依次操作其它服务器

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容