可以实时处理大量数据，满足各种需求场景.
- Hadoop 批处理系统。
- Storm/Spark 流式处理引擎
- web/nginx，访问日志
- 消息服务
开放统一接口给consumer
hadoop,hbase等.
装载到hadoop,数仓etl做离线分析和数据挖掘.
Screen Shot 2022-07-13 at 2.44.08 PM.png
- Partition副本选举Leader
消息消费offset记录,consumer-offset
Rebalance机制
消费者数量和消费分区有变化的时候。kafka会重新分配消息分区的关系，重启后分区又会归还给其他的消费者.
- 以下几种情况均会触发rebalance
consumer,消费组分区partitation,Topic.
要尽量避免rebalance,实在要触发也尽量避开高峰期.
因为消费组无法送kafka消费消息，会对kafka的tps产生影响，比如有数百个那么rebalance会很耗时.
- ISR && OSR
In Sync Replicas (所有与leader副本保持一定程度同步的副本在内组成ISR)
osd 和 leader副本同步情况滞后太多的副本组成osr.
正常情下: follower副本都应该与leader副本保持一定程度的同步.
offset偏移高低水位.
日志分段存储:
规定了一个段位的log文件最大为1g大小
一个segment可以有 index(稀疏索引，log消息体，timeindex(时间位移))
