（一）前言
kafka和普通消息队列的比较：
1、类似点：和消息队列一样可以订阅发布数据
2、不同点：
（1）kafka以集群的方式不是，可以自由伸缩，处理公司所有的应用程序
（2）kafka可以按照要求存储数据，保存多久都可以
（3）流式处理将数据处理的层次提高到了新高度
kafka和Hadoop的比较
kafka是实时流式数据处理，适用应用于业务系统，Hadoop更擅长数据分析
kafka和其他数据集成工具的比较
kafka不仅仅是简单地将数据从一个系统塞到另一个系统，还能加强这些触发相同数据流的应用。
（二）kafka基础知识
1、消息和批次
（1）消息：消息即为kafka中的数据单元
（2）批次：为提升吞吐量，减少IO，消息分批写入kafka，这些消息属于同一个主题和分区
2、模式（消息格式）
模式：消息的格式。生产端和消费端可以各自制定消息格式，消除了消息读和写的耦合性。
3、主题和分区
（1）主题：kafka的消息通过主题分类。
（2）分区：一个主题被分为若干个分区，消息以追加的方式写入分区，然后以先入先出的顺序读取，因此可以保证消息在单个分区内的顺序。但是整个主题的消息顺序是不能保证的。
4、生产者和消费者
（1）用户：kafka的客户端就是kafka系统的用户
（2）用户类型之消费者：读取消息，订阅一个或多个主题，并按照消息生成的顺序读取他们（某个
分区内部），通过检查偏移量（offset）来区分已经读过的消息。
a、偏移量：kafka添加消息时会将其添加到消息里，每个分区有一个偏移量，是一个递增的数值。消费者读取消息时将最后读取的偏移量保存在zookeeper或者kafka上，消费者重启或关闭其偏移量不会丢失。
b、消费者组：消费者属于消费者组。一个或多个消费者读取同一个主题，但群组保证每个分区只能被一个消费者消费。如果一个消费者失效，群组中的其他消费者可以接管消费者的工作。
（3）用户类型之生产者：创建消息，将消息发送到特定主题的某个分区（默认是均衡地发布到所有分区）
5、broker和集群
（1）broker：一个独立的kafka服务器被称为broker，broker接收来自生产者的消息，为消息设置偏移量，并提交到磁盘保存。为消费者提供服务，对读取分区的请求做出相应，返回已经提交到磁盘的消息。
（2）集群：broker的集合。每个集群都有一个broker同时充当了集群控制器的角色（选举）。负责管理工作：将分区分配给broker；监控broker。
（3）broker和分区的关系：一般，一个分区从属于一个broker，broker成为这个分区的首领。但是可以将一个分区分配给多个broker，此时会发生分区复制，如果有个broker失效，其他broker可以接管领导权。这时相关的消费者和生产者需要重新连接到新的首领。
（4）保留消息：主题可以配置自己的消息保留多久
（三）为什么选择kafka
1、多个生产者
2、多个消费者：不同消费者可以消费同一份数据，但是同一消费者组共享消息，保证同一份消息对于同一个消费者组只能被消费一次。
3、基于磁盘的数据存储：每个主题设置不同的数据存储规则（按时长，按消息量），消费者出现故障或者业务高峰期不用担心数据丢失
4、伸缩性：用户可以随着数据量的变化变更broker的数量。
5、高性能：以上几点保证了kafka成为一个高性能的发布与订阅消息系统。
