从一条千兆网线到四条
从单个RAID1盘到多个不做raid盘,吞吐量有所提高,但是磁盘容易不均衡,容易挂掉
因为业务的topic有大有小,而kafka一般是按partition个数均衡的,所以一般是预先分配好大的topic,让分布均衡,再接着用小的。
有出现过一个问题,一个topic的很多partition落在同一个盘上。
kafka同一机器内的磁盘没做容量的balance,所以容易倾斜。有时需要手动移动到其他盘。这时需要停掉那台机器的服务,再移动。更改元数据文件。
磁盘尽量比单个partition大很多倍,这样好分配
大的topic的partition数量尽量是总磁盘个数的倍数
数据有顺序要求的,需要写到同一个partition上
kafka只对磁盘和网卡要求高,cpu和内存等要求不高,所以集群扩容可以优先加网卡和磁盘大小
网卡的模式从mode0改为mode6,避免丢包
机器的最大文件句柄数要相应的调大
kafka 0.10.0.0有一个bug是kafka服务停掉后,log文件日期被刷新到最新的,无法过期删掉