Kafka的架构
kafka.jpg
Partition 分区
- 消息日志分区在集群的服务器上。
- 一个topic的消息被分配到不同的分区中。
- 分区中消息是顺序保存的，通过offset保持顺序。
- 分区可以设置备份（Replication），用于容灾。
- 通过Zookeeper选举分区leader节点。
- 可以将分区及备份分配到不同的服务器，提高可用性。
Topic 消息日志
- 消息在同一个分区中保持顺序，在不同分区中无法保持顺序。
- 通过顺序IO读写磁盘。
- 消息默认保存7天。
- 消息消费后并不会删除，消费者记录读取的位置。
Producer 生产者
- 通过push方式向集群发送消息。
- 决定消息存储在哪个分区。
- 可以自定义分区存储规则，例如：轮询。
Consumer 消费者
- 通过pull方式获取消息。
- 相同的消费组内，通过负载均衡方式消费消息，即消息只被组内一个消费者消费。
- 不同的消费组订阅相同的topic，组间通过广播方式获得消息。即同一条消息，会被不同消费组消费。
- 通过zookeeper记录消费记录offset。
- 可以通过设置offset值，消费过往的消息。
