arm平台kafka性能测试

部署方式

生产者测试

分区数

测试过程

1. 新建一个拥有3个分区、1个副本的主题；
2. 新建一个拥有6个分区、1个副本的主题；
3. 新建一个拥有15个分区、1个副本的主题；
4. 新建一个拥有24个分区、1个副本的主题；
5. 新建一个拥有30个分区、1个副本的主题；
6. 向拥有3个分区、1个副本的主题中发送相同数量的消息记录，查看性能变化；
7. 向拥有6个分区、1个副本的主题中发送相同数量的消息记录，查看性能变化；
8. 向拥有15个分区、1个副本的主题中发送相同数量的消息记录，查看性能变化；
9. 向拥有24个分区、1个副本的主题中发送相同数量的消息记录，查看性能变化；
10. 向拥有30个分区、1个副本的主题中发送相同数量的消息记录，查看性能变化。

测试命令

#创建topic
#根据测试条件更改参数--partitions

./bin/kafka-topics.sh \
    --create  \
    --zookeeper 172.32.150.250:2181 172.32.150.251:2181 172.32.150.252:2181 \
    --topic testproducer \
    --partitions XX \
    --replication-factor 1  

#创建生产者
#消息长度1024
./bin/kafka-producer-perf-test.sh \
    --num-records 5000000  \
    --topic testproducer  \
    --record-size 1024 \
    --throughput  -1 \
    --producer-props bootstrap.servers=172.32.150.250:9092,172.32.150.251:9092,172.32.150.252:9092 acks=-1

#消息长度2048
./bin/kafka-producer-perf-test.sh \
    --num-records 5000000  \
    --topic testproducer  \
    --record-size 2048 \
    --throughput  -1 \
    --producer-props bootstrap.servers=172.32.150.250:9092,172.32.150.251:9092,172.32.150.252:9092 acks=-1

#删除topic
./bin/kafka-topics.sh \
    --delete \
    --zookeeper 172.32.150.250:2181 172.32.150.251:2181 172.32.150.252:2181 \
    --topic testproducer

测试结果

测试结论

当partition个数为broker数的5倍左右时性能较好。

副本数

测试过程

1. 新建一个拥有15个分区、1个副本的主题；
2. 新建一个拥有15个分区、2个副本的主题；
3. 新建一个拥有15个分区、3个副本的主题；

测试命令

参考之前分区数测试相关命令。

测试结果

测试结论

当副本数为1时性能最佳，增加副本后性能下降明显。