sparkStreaming2.2.1+spark-streaming-kafka-0-8_2.10

现象一:

当zk连接数特别大的时候,topic的partition不断做重新选举leader或者broker与zk连接超时,kafka0.8版本的消费如果将offset放到zk里,就可能会不定期出现找不到topic-leader的情况,然后整个程序挂掉。
解决方式:升级spark-streaming-kafka的版本,将他提高到spark-streaming-kafka-0-10_2.11,官方已经不再维护8的版本了。

现象二:

在用--conf spark.streaming.backpressure.initialRate=1500 和 --conf spark.streaming.backpressure.initialRate=3000 进行限速的时候,指的是每一个partition每秒消费的条数,如果kafka的partition不均衡,那么最好以最高的一个partition的速率来进行限速,否则会有某些partition的数据一直延时。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容