Kafka是一个高效的MQ,自己总结Kafka主要是靠以下几点:1,磁盘的顺序读写性能高,2,NIO的Zero-Copy支持,3,批量发送机制,etc(发现了再补)
主要模块
admin --管理员模块,操作和管理topic,paritions相关,包含create,delete topic,扩展patitions
Api --该模块主要负责交互数据的组装,客户端与服务端交互数据编解码
client --该模块比较简单,就一个类,Producer读取kafka broker元数据信息,topic和partitions,以及leader
cluster --该模块包含几个实体类,Broker,Cluster,Partition,Replica,解释他们之间关系:Cluster由多个broker组成,一个Broker包含多个partition,一个topic的所有
partitions分布在不同broker的中,一个Replica包含多个Partition。
common --通用模块,只包含异常类和错误验证
consumer --consumer处理模块,负责所有客户端消费者数据和逻辑处理
contoroller --负责中央控制器选举,partition的leader选举,副本分配,副本重新分配,
partition和replica扩容。
javaapi --提供java的producer和consumer接口api
log --Kafka文件存储模块,负责读写所有kafka的topic消息数据。
message --封装多个消息组成一个“消息集”或压缩消息集。
metrics --内部状态的监控模块
network --网络事件处理模块,负责处理和接收客户端连接
producer --producer实现模块,包括同步和异步发送消息。
serializer --序列化或反序列化当前消息
kafka --kafka门面入口类,副本管理,topic配置管理,leader选举实现(由contoroller模块调用)。
tools --一看这就是工具模块,包含内容比较多:
a.导出对应consumer的offset值.
b.导出LogSegments信息,当前topic的log写的位置信息.
c.导出zk上所有consumer的offset值.
d.修改注册在zk的consumer的offset值.
f.producer和consumer的使用例子.
utils --Json工具类,Zkutils工具类,Utils创建线程工具类,KafkaScheduler公共调度器类,公共日志类等等。