1、 消费组概念 32} 0:7
2、偏移量工具 35} 0:15
kafkaOffsetMonitor-assembly-0.3.0
3、感知消费异常 36} 0:14
heartbeat.interval.ms 故障后通过心跳下发rebanlence指令
session.timeout.ms kafka多长时间感知不到就认为故障,默认10s
max.poll.interval.ms 两次poll 间隔超时会任务这个consumer 太弱,踢出去给别人消费
4 、 消费者核心参数 37} 0:10
fetch.max.bytes 默认 1M,一条消息的最大字节
max.poll.records 默认500 , 一次消费最多消息
conection.max.idle.ms consumer和broker 的socker如果空闲了一定时间会回收,建议-1
不回收,否则要重新建立连接
enable.auto.commit 自动提交
auto.commit.interval.ms 每隔多久提交?默认5000毫秒
auto.offset.reset
earliest:各分区已经有offset时,从提交的offset消费,否则从最早
latest:各分区已经有offset时,从提交的offset消费,否则从最新
none: 各分区已经有offset时,从提交的offset消费,否则只要有一个分区不存在抛出异常
5、消费者groupcoordinator 39}
1、发送joingroup请求
2、选出leader consumer
3、把topic消费情况发送leader
4、leader制定消费方案
5、发送消费方案给corndinator
6、corndinator 下发消费方案给其他消费者
7、其他消费者找到消费分区消费
6、消费者 重新平衡策略 40}
1、range 策略 按照partiton编号
2、round-robin算法
3、stick策略多余分区 均匀分配