入门篇
使用场景
MQ基本功能
- 生产者发送消息，消费者接收消息。（本质上是一个消息的传递）
- 存储海量消息
- 写多读少，应对高并发写
根据这些功能，可以实现的使用场景
- 解耦：生产消息，其他服务根据需要进行消费，生产者无需关心消费者
- 异步：生产消息，无需关心消费者具体的处理时间
- 削峰填谷：设置消费者1s消费N条消息
引入MQ带来的问题
- 系统可用性降低，MQ高可用问题
- 系统复杂度提高
- 数据一致性问题：数据丢失、数据重复、数据乱序
基本命令
# 基本命令：kafka-topics.sh、kafka-console-producer.sh、kafka-console-consumer.sh
# 创建Topic
kafka-topics.sh --create \
--zookeeper zoo1:2181 \ # 连接zookeeper
--partitions 3 \ # 分区数量
--replication-factor 3 \ # 副本数量
--topic test
# 列表所以Topic
kafka-topics.sh --list --zookeeper zoo1:2181
# 展示某个Topic的详细信息
kafka-topics.sh --describe --zookeeper zoo1:2181 --topic test
# 修改某个Topic的信息
kafka-topics.sh --zookeeper zoo1:2181 --alter --topic test --partitions 3
# 删除某个Topic
kafka-topics.sh --zookeeper zoo1:2181 --delete --topic test
#生产者
## https://blog.csdn.net/qq_29116427/article/details/105912397
kafka-console-producer.sh --broker-list kaf1:9092 --topic test
kafka-console-producer.sh --broker-list kaf1:9092 --property parse.key=true --property key.separator=: --topic test
# 消费者
## 新版关联zk这种方式已经删除
kafka-console-consumer.sh --bootstrap-server kaf1:9092 --topic test --from-beginning
基本概念
参考链接：https://www.jianshu.com/p/a036405f989c
来自：网络资源
高级篇
基本原理
问题解决
高可用
kafka天然高可用。对每个topic设置分区，分散存储在集群的不同节点上，应对某个topic的高并发。同时每个分区设置备份，避免单点故障。每个分区选举主节点，应对读写请求。
数据一致性
数据丢失
服务集群：设置Topic有N大于1个副本
生产者：设置acks=all, retries=max，表示只有当所有节点数据都同步了就确定提交，否则不断尝试
消费者：每一个都会有自己的offset，表示当前消费的位置，当且仅当消费万一条消息，采取提交offset。(kafka会自动提交一组消息的offset)
数据重复、幂等性
原因：
- 生产者自己提交了重复消息
- kafka消费者有个offset，会隔一段时间同步到zookeeper。如果还没有同步消费者宕机了，重启后会拉取zookeeper中的offset，继续读取。
解决幂等性问题，根据业务场景实际处理，比如：数据库唯一索引、根据主键等约束先查询下。
数据有序性
原因：
- 生产者：高并发发送消息，自己把顺序搞乱掉。这种情况解决不了，一定要避免
- 消费者：N个实例M个线程一起消费，导致没有根据消息顺序进行消费
解决：
- 首先从业务场景考虑，到底要不要有序，大部分都不关心有序。
- N个实例，采用消费者数量小于N的方案对消息进行Key存入分区，这样一个消费者获取相同的Key消息是有序的；每个服务有M个线程进行消费，采用内存队列quene，对于消息再细分，存入不同的消费队列中，每个消费队列是有序的。
