版权声明：本文为博主原创文章，未经博主允许不得转载。https://www.jianshu.com/p/00af5eec08da
一、分析过程
1、节点“存储等待”时间长
发起一个查询job，查看该查询语句的profile文件，发现各节点的TotalStoreageWaitTime时长不一，大量节点花费较多时间在“存储等待”。
图1 imapal查询sql的TotalStoreageWaitTime
2、磁盘使用率达100%
观察集群磁盘IO使用率，如下图所示，大部分节点的磁盘使用率较高，多个节点磁盘使用率达100%。对于一个节点的单块磁盘来说，读速率峰值可达100MB/s左右，排除一些性能损耗，单节点的磁盘I/O在繁忙时预期应在70MB/s~80MB/s之间。
图2 多个磁盘使用率达100%
3、磁盘使用率高而读速率低
在运行查询作业时，执行iostat -x -m 2，单台节点磁盘I/O实时数据如下图所示，有三列需要关注：
第4列r/s列：磁盘读操作/s
第6列rMB/s：磁盘读速率
最右侧一列%util：磁盘I/O使用率
随机挑选一台节点A，在执行query时部分磁盘使用率达到了99%，对应的磁盘读操作在300次/s~500次/s，但磁盘读速率在20MB/s左右，与预期峰值70~80MB/s相距甚远，推测为有进程在频繁对该盘进行读操作，占满了磁盘使用率，导致磁盘读速率上不去。
图3 磁盘存在频繁读操作
4、top发现该节点在存在大量du进程
hdfs会定期（默认10分钟）使用du -sk命令统计BP的大小，在小文件或目录数量较多时，该操作耗时将会变长（超过10分钟），这会导致iowait以及load的提升。
图4 top发现有du进程
图5 du -sk进程在计算磁盘block信息
二、问题原因——ut_mgmas用户下存在大量小文件导致
查看HDFS使用情况，ut_mgmas用户占用文件和目录数量共计1242万个，而逻辑大小只有9.4TB，9.4T/12428786=0.75M，可知平均一个文件大小不到1M，HDFS上存在巨大数量的小文件，这是导致du耗时变长的直接原因。
目录字节原始字节文件和目录计数
图6 ut_mgmas用户存在大量小文件
图7 ut_mgmas用户目录
三、建议
1、控制单个文件大小在100MB左右
一方面：每个文件和目录会占用NameNode的内存15KB，大量的小文件很有可能造成NameNode节点的内存不足，对集群造成严重隐患影响；
另一方面：hdfs存在du机制，du时间与该盘上小文件数量呈正比，当小文件数量巨多时，du耗时也越久，磁盘使用率也就持续维持在一个很高的状态，读速率就无法上去。而impala在执行查询时，需要做全表扫描，读取hdfs上的数据，因为磁盘使用率因du进程占用，因而发生文章伊始提到的TotalStoreageWaitTime存储等待时间较长。
2、清理或合并小文件
3、更改数据存储方式
当前应用系统在HDFS上底层数据存储格式为txt，这是很不合理的一种数据存储方案，一般建议采用rcfile或parquet+snappy方式存储。一是因为txt格式存储空间占用大，数据扫描耗时很长；二是rcfile或parquet方式存储采用行列相结合的存储方式，有利于数据快速存取。三是采用snappy压缩方式，数据存储方面能节约30%以上空间，减少每次查询扫描hdfs时间。
4、通过细粒度的数据分区，较精确定位数据范围。目前业务系统是按日进行分区的，每日数据量4T，即便查询几分钟的数据还是需要扫描整个表4T的数据，建议以小时为分区键，这样可大幅提升查询性能。
