Linux- kafka持久化文件太大怎么办?

前言

Kafka会数据写到硬盘上。磁盘空间有限,kafka有提供清理过期数据的策略。

Kafka删除数据有两种方式:

1. 第一种是按照时间,超过一段时间后删除过期消息;

2. 第二种是按照消息大小删除数据的,消息数量超过一定大小后删除最旧的数据。

确认在过期数据过期的时候,数据已经被消费!!!!


配置

启用删除策略

log.cleanup.policy=delete

直接删除,删除后的消息不可恢复。

可配置以下两个策略:

清理超过指定时间清理:

log.retention.hours=16

log.retention.minutes=60

log.retention.ms=3600000

超过指定大小后,删除旧的消息:

log.retention.bytes=1073741824

无论时间还是空间维度,只要满足其中一个log就会被清理。

检查周期

上面的条件满足了,那多久检查一次呢

log.retention.check.interval.ms=300000

这个参数就是设置检查周期的

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,156评论 19 139
  • Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方...
    Alukar阅读 3,112评论 0 43
  • 本文转载自http://dataunion.org/?p=9307 背景介绍Kafka简介Kafka是一种分布式的...
    Bottle丶Fish阅读 5,513评论 0 34
  • 姓名:周小蓬 16019110037 转载自:http://blog.csdn.net/YChenFeng/art...
    aeytifiw阅读 34,783评论 13 425
  • 每个人都有自己的天赋和擅长的领域,但当我们跨出了熟悉的地盘,向新的领域探索遇到困难时,怎么办?这个时候,可以让人事...
    菜梆梆阅读 236评论 0 1