kafka 简介
kafka是一个高吞吐量的分布式消息系统,支持发布订阅,常用于日志消息系统。基于scala语言实现。kafka 核心概念
broker
经纪人:kafka集群每个服务器为broker server,分为leader broker 和 follower brokertopic
主题:kafka发布的消息都有一个归属主题,为topicpartition
分区:每个topic下包含一个或多个partitionproducer
生产者:kafka 生产者,负责发布消息到kafka brokerconsumer
消费者:kafka 消费者,负责从kafka broker读取消息consumer group
消费者组:每个consumer属于一个特定的groupoffset
消息偏移量,每个消息都对应一个顺序ID号