Kafka实际使用过程中遇到的一些问题及解决方法:
1.关于Kafka的分区:
开始使用Kafka的时候,没有分区的概念,以为类似于传统的MQ中间件一样,就直接从程序中获取Kafka中的数据。
后来程序搭建了多套,发现永远只有一个消费者(消费者应用部署在多个tomcat上)会从Kafka中获取数据进行处理,后来才知道有分区这么一个概念。
具体不说了,网上有很多资料,总的概括:Kafka的分区,相当于把一个Topic再细分成了多个通道,一个消费者应用可以从一个分区或多个分区中获取数据。
有4个分区,1个消费者:这一个消费者需要负责消费四个分区的数据。
有4个分区,2个消费者:每个消费者负责两个分区
有4个分区,3个消费者:消费者1负责1个分区,消费者2负责1个分区,消费者3负责两个分区
有4个分区,4个消费者:一人一个
有4个分区,5个及以上消费者:4个消费者一人一个,剩下的消费者空闲不工作。
部署的时候尽量做到一个消费者对应一个分区。
2.分区数据量不均衡:
Topic上设置了四个分区,压测过程中,发现每个分区的数据量差别挺大的,极端的时候,只有一个分区有数据,其余三个分区空闲。
解决方法,在用生产者生产数据的时候,send方法需要指定key。Kafka会根据key的值,通过一定的算法,如hash,将数据平均的发送到不同的分区上。
3.spring-integration-kafka:
在使用spring-integration-kafka做消费者的时候,发现CPU和内存占用量占用非常的大,后来又发现不管生产者发送了多少数据,Kafka的Topic中一直没有数据,这时候才知道spring-integration-kafka会将Topic中的数据全拉到本地,缓存起来,等待后续的处理。
解决方法:
<int:channel id="inputFromKafka">
<int:queue capacity="25"/> --这里加个配置,相当于缓存多少数据到本地
</int:channel>