1.Kafka 中的 ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么？

• ISR: 和 leader 保持同步的 follower 集合。当 ISR 中的 follower 完成数据的同步之后，leader 就会给 follower 发送 ack。如果 follower 长时间未向 leader 同步数据，则该 follower 将被踢出 ISR。Leader 发生故障之后，就会从 ISR 中选举新的 leader。
• 分区中的所有副本统称为AR（Assigned Replicas）。
• 所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成ISR（In-Sync Replicas），ISR集合是AR集合中的一个子集。
• 与leader副本同步滞后过多的副本（不包括leader副本）组成OSR（Out-of-Sync Replicas）

2.Kafka 中的 HW、LEO 等分别代表什么？

• HW是High Watermark的缩写，俗称高水位，它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个offset之前的消息。
• LEO是Log End Offset的缩写，它标识当前日志文件中下一条待写入消息的offset，图中offset为9的位置即为当前日志文件的LEO，LEO的大小相当于当前日志分区中最后一条消息的offset值加1。分区ISR集合中的每个副本都会维护自身的LEO，而ISR集合中最小的LEO即为分区的HW，对消费者而言只能消费HW之前的消息。
  

3.Kafka 中是怎么体现消息顺序性的？

Kafka只能保证分区内消息顺序有序,无法保证全局有序
生产者：通过分区的leader副本负责数据顺序写入，来保证消息顺序性
消费者：同一个分区内的消息只能被一个group里的一个消费者消费，保证分区内消费有序

4.Kafka 中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？

整个kafka生产者客户端由两条线程协调运行。这两条线程分别为主线程和sender线程（发送线程）
主线程的作用就是：由KafkaProducer创建消息，然后通过可能的拦截器-》序列化器-》分区器的作用之后缓存到消息累加器
send线程的作用就是：负责将消息累加器中的消息发送到kafka中。
生产者拦截器可以用来在消息发送前做一些准备工作，比如按照某个规则过滤不符合要求的消息，修改消息的内容等，也可以用来在发送回调逻辑前做一些定制化的需求。
生产者需要用序列化器将对象转换成字节数组才能通过网络发送给kafka.当然消费者需要用对应的反序列化器将kafka的字节数组转换为相应的对象。

消息发送流程

5.Kafka 生产者客户端的整体结构是什么样子的？使用了几个线程来处理？分别是什么？

整个kafka生产者客户端由两条线程协调运行。这两条线程分别为主线程和sender线程（发送线程）
主线程的作用就是：由KafkaProducer创建消息，然后通过可能的拦截器-》序列化器-》分区器的作用之后缓存到消息累加器
send线程的作用就是：负责将消息累加器中的消息发送到kafka中。

6.“消费组中的消费者个数如果超过 topic 的分区，那么就会有消费者消费不到数据”这句话是否正确？

正确。一个分区只能被一个消费者消费

7.消费者提交消费位移时提交的是当前消费到的最新消息的 offset 还是 offset+1？

offset+1，文件也是这样命名的

8.有哪些情形会造成重复消费？

1)从生产者端：
ack 设置为 -1 ，Leader收到数据follower同步数据后 ，brocker准备返回ack的时候挂掉了，新选出的Leader则会出现重复发送的情况
2)从消费者端：
先消费后提交，消费完成以后offset没有提交成功，下次消费时则会导致重复

9.那些情景会造成消息漏消费？

1)从生产者端：ack 设置为 0和1
2)从消费者端：先提交后消费时,提交后挂掉
先提交 offset 后消费，有可能造成数据的漏消费；而先消费后提交 offset，有可能会造成数据的重复消费。

10.当你使用 kafka-topics.sh 创建（删除）了一个 topic 之后，Kafka 背后会执行什么逻辑？

1）会在 zookeeper 中的/brokers/topics 节点下创建一个新的 topic 节点，如：
/brokers/topics/first
2）触发 Controller 的监听程序
3）kafka Controller 负责 topic 的创建工作，并更新 metadata cache

11.topic 的分区数可不可以增加？如果可以怎么增加？如果不可以，那又是为什么？

可以，重分区。reblance

12.topic 的分区数可不可以减少？如果可以怎么减少？如果不可以，那又是为什么？

不可以，分区里面的数据不好处理

13.Kafka 有内部的 topic 吗？如果有是什么？有什么所用？

consumer 默认将 offset 保存在 Kafka 一个内置的 topic 中，该 topic 为__consumer_offsets

14.Kafka 分区分配的概念？

kafka的分区分配策略：RangeAssignor（默认），RoundRobinAssignor，StickyAssignor

15.简述 Kafka 的日志目录结构？

一个Topic有多个partition，一个partition对应一个目录，目录命名 ，topic-分区id。
下面分多个segment目录，命名是以topic名称和开始消息的偏移量来命名的，目录主要有两类文件log和index文件。

16.如果我指定了一个 offset，Kafka Controller 怎么查找到对应的消息？

通过 offset找到对应的segment目录，目录下找到index文件，再去log文件中获取消息

17.聊一聊 Kafka Controller 的作用？

负责管理集群 broker 的上下线，所有 topic 的分区副本分配和 leader 选举等工作。 Controller 的管理工作都是依赖于 Zookeeper 的。

18.Kafka 中有那些地方需要选举？这些地方的选举策略又有哪些？

• KafkaController选举的时候，先到先得
• 分区的副本选Leader的时候，从ISR中获取

19.失效副本是指什么？有那些应对措施？

踢出ISR的那些OSR。从HW截断，然后同步Leader

20.Kafka 的哪些设计让它有如此高的性能？

分区存储，顺序读写，零拷贝
1）partition顺序读写，充分利用磁盘特性，这是基础；
2）Producer生产的数据持久化到broker，采用mmap文件映射，实现顺序的快速写入；
3）Customer从broker读取数据，采用sendfile，将磁盘文件读到OS内核缓冲区后，直接转到socket buffer进行网络发送。