(11)Kafka分区数只加不减(2)

topic创建后,可修改分区数、配置等,功能由kafka-topics.sh脚本中alter指令提供。

一、如何增加主题分区数?

例:主题topic-config,分区数1改3

告警信息:"topic有key时(不null),根据key计算分区就有所影响"。1发往一个分区;3原本发分区0,可能发分区1或2。

减少分区报出InvalidPartitionException异常:

二、为什么不支持减少分区?

1、不可靠:

    1)存现有分区尾部,时间戳不递增,Spark、Flink需时间戳(事件时间)组件受影响

    2)分散插入,复制占用很大资源,复制期间,可用性、顺序性、事务性、状态机切换问题

2、如真要实现,创建分区数小topic,现有复制过去

3、但分区副本数可减少,用kafka-reassign-partition.sh脚本实现

https://mp.weixin.qq.com/s/oMNR2mAffS5pP576o5sbgQ

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 主题作为消息的归类,可以再细分为一个或多个分区,分区可以看作对消息的二级归类。分区的划分不仅为Kafka提供了可伸...
    rookie_yuqi阅读 1,098评论 0 0
  • 0 消息队列使用场景 消息通讯 异步处理 应用解耦 流量削峰 日志处理 1 消息中间件怎么保证消息幂等性/一致性?...
    allen锅阅读 749评论 0 0
  • Kafka官网:http://kafka.apache.org/入门1.1 介绍Kafka™ 是一个分布式流处理系...
    it_zzy阅读 4,012评论 3 53
  • Kafka 概述 Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布...
    you的日常阅读 524评论 1 1
  • 今天感恩节哎,感谢一直在我身边的亲朋好友。感恩相遇!感恩不离不弃。 中午开了第一次的党会,身份的转变要...
    余生动听阅读 10,835评论 0 11

友情链接更多精彩内容