目前发现tidb在运行期间,大量insert into 操作发现写入效率变低。
之前是发现有大量死锁,但是spark streaming程序处理速度还可以。
但是处理速度一直在4000/S左右。在清理历史数据后,truncate掉了相关表1个月的分区,大概清理2000个region。处理速度一下就降低了一半。
并且spark streaming的反压机制也没有搞清楚。重启程序后消费能力正常,在运行一段时间后,开始积压并启动反压,消费能力忽高忽低。
相关原因还在研究中。待续
目前发现tidb在运行期间,大量insert into 操作发现写入效率变低。
之前是发现有大量死锁,但是spark streaming程序处理速度还可以。
但是处理速度一直在4000/S左右。在清理历史数据后,truncate掉了相关表1个月的分区,大概清理2000个region。处理速度一下就降低了一半。
并且spark streaming的反压机制也没有搞清楚。重启程序后消费能力正常,在运行一段时间后,开始积压并启动反压,消费能力忽高忽低。
相关原因还在研究中。待续