Kafka--02基础

Kafka相关概念:


Topics (主题)
属于特定类别的消息流称为主题,数据存储在主题中。
主题被拆分成分区,对于每个主题,Kafka保存一个分区的数据,每个这样的分区包含不可变有序序列的消息。分区被实现为具有相等大小的一组分段文件。

Partition (分区)
一个主题有多个分区,因此可处理的消息量非常之多。
Partition offset(分区偏移)
每个分区具有称为offset的唯一序列标识;
Replicas of partition (分区备份)
副本只是分区的一个备份,副本不读取或者写入数据,用于防止数据丢失。

Brokers (经纪人/代理 )
负责维护发布数据的简单系统,每个经纪人中的每个主题可以具有零个或者多个分区。

Kafka Cluster (Kafka集群)
Kafka有多个代理被称为集群。可以扩展Kafka集群,无需停机,这些集群用于管理消息数据的持久性和复制。

producer(生产者)
消息生产者,可发布一种或者多种主题消息(topic)。producer向brokers发送数据,brokers只需要将消息附加到最后一个段文件。实际上,该消息将被附加到分区。

consumers(消费者)
Consumers从经纪人处读取数据。 消费者订阅一个或多个主题,并通过从代理中提取数据来使用已发布的消息。

Leader(领导者)
leader是负责给定分区的所有读取和写入的节点,每个分区都有一个服务器充当leader。

Follower(追随者)
领导者的backup,如果领导失败,一个追随都将自动成为新的领导者。追求者作为正常消息者,拉取消息,并更新其自己的数据存储。

Kafka集群架构


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 姓名:周小蓬 16019110037 转载自:http://blog.csdn.net/YChenFeng/art...
    aeytifiw阅读 34,849评论 13 425
  • kafka的定义:是一个分布式消息系统,由LinkedIn使用Scala编写,用作LinkedIn的活动流(Act...
    时待吾阅读 5,516评论 1 15
  • 4. 设计思想 4.1 动机 我们设计的 Kafka 能够作为一个统一的平台来处理大公司可能拥有的所有实时数据馈送...
    疯狂的橙阅读 1,134评论 1 4
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,303评论 19 139
  • 鸡汤听起来高难度,做法却极其简单,只需两步就能轻松掌握! 1、 选一只新鲜老母鸡,开水焯水洗净取出。这里焯水时间不...
    LightLabel阅读 304评论 0 0

友情链接更多精彩内容