spark.streaming.kafka.maxRatePerPartition

spark.streaming.kafka.maxRatePerPartition计算规则2018年08月03日 11:59:11 genius0182 阅读数:2258spark.streaming.kafka.maxRatePerPartition这个参数是控制吞吐量的,一般和spark.streaming.backpressure.enabled=true一起使用。那么应该怎么算这个值呢。如例要10分钟的吞吐量控制在5000,0000,kafka分区是10个。spark.streaming.kafka.maxRatePerPartition=8400这个值是怎么算的呢。如下是公式spark.streaming.kafka.maxRatePerPartition的值 * kafka分区数 * (10 *60)(每秒时间) 



非原创:来源=》https://blog.csdn.net/genius0182/article/details/81385096

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容