Kafka基础概念

1、主题(Topocs)

属于特定类别的消息流称为主题,数据存储在主题中,主题被拆成分区,对于每个主题,Kafka保存一个分区的数据,每个这样的分区包含不可以变有序序列的消息。分区被实现为具有相等大小的一组分段文件。

2、分区(Partition)

主题可能有多个分区,因此它可以处理任意数量的数据。

3、分区偏移(Partition Offset)

每个分区消息具有称为"offset"的唯一序列标识

4、Replicas of pattition(分区备份)

副本只是分区的一个备份,副本从来不读取或写入数据。它们用于防止数据丢失。

5、经纪人(Brokers)

  • 代理是负责维护发布数据的简单系统。 每个代理中的每个主题可以具有零个或多个分区。 假设,如果在一个主题和N个代理中有N个分区,每个代理将有一个分区。
  • 假设在一个主题中有N个分区并且多于N个代理(n + m),则第一个N代理将具有一个分区,并且下一个M代理将不具有用于该特定主题的任何分区。
  • 假设在一个主题中有N个分区并且小于N个代理(n-m),每个代理将在它们之间具有一个或多个分区共享。 由于代理之间的负载分布不相等,不推荐使用此方案。

6、Kafka集群(Kafka Cluster)

Kafka有多个代理被称为Kafka集群。 可以扩展Kafka集群,无需停机。 这些集群用于管理消息数据的持久性和复制。

7、生产者(Producer)

生产者是发送给一个或多个Kafka主题的消息发布者。生产者向Kafka broker发送数据, 每当生产者将消息发布给代理时,代理只需将消息附加到最后一个段文件。实际上该消息被附加到分区。生产者还可以向他们选择的分区发送消息。

8、消费者(Consumer)

Consumers从broker读取数据,消费者订阅一个或多个主题,并通过从代理中提取数据来使用已发布的消息。

9、领导者(Leader)

Leader负责给定分区的所有读取和写入的节点,每个分区都有一个服务器充当Leader。

10、追随者(Folloer)

跟随领导者指令的节点被称为Follower。如果领导失败,一个追随者将自动成为新的领导者,跟随者作为正常消费者,拉取消息并更新自己的存储。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,286评论 19 139
  • 姓名:周小蓬 16019110037 转载自:http://blog.csdn.net/YChenFeng/art...
    aeytifiw阅读 34,788评论 13 425
  • kafka的定义:是一个分布式消息系统,由LinkedIn使用Scala编写,用作LinkedIn的活动流(Act...
    时待吾阅读 5,401评论 1 15
  • Kafka官网:http://kafka.apache.org/入门1.1 介绍Kafka™ 是一个分布式流处理系...
    it_zzy阅读 3,931评论 3 53
  • 一十一点一阅读 99评论 0 1