1.前言
本文大部分是对于官方问的那个的理解,小部分是自己的测试感受
官方文档地址
ANALYZE 这个命令接触的不多,今天专门研究学习下
2、目的
见名知意,它的目的就是为了统计和分析的作用,它将统计的信息存储到metastore中,后续再来查询的时候就不需要在执行查询计算,而是直接获取即可
3、范围
统计信息支持新建的和现有的表,支持分区表和普通表的统计信息 以及列统计信息
4、ANALYZE相关
1、表统计
表统计的信息包括:行数,文件数,大小(以字节为单位)
- 1、hive 是默认自动收集统计信息,由hive.stats.autogather 配置参数决定,默认是true。但是对于load data 方式是不支持的。(想一下也可以知道,他应该是在计算的时候去计算出这些统计信息)
注意:这个在hive中是自动收集的。在sparkThriftserver中并不适用,虽然用的hive的元数据信息,但是它们两个在这方面不相通。
- 2、手动收集。我们这边也可以指定手动收集,手动收集的指令为
ANALYZE TABLE [db_name.]tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)]
COMPUTE STATISTICS
[FOR COLUMNS] -- (Note: Hive 0.10.0 and later.)
[CACHE METADATA] -- (Note: Hive 2.1.0 and later.)
[NOSCAN];
其中如果指定了NOSCAN的话,该命令将不会去扫描文件,仅会收集文件数和文件大小的信息
- 3、查看表的统计信息
desc formatted tableName
2、列统计
相关文档
https://cwiki.apache.org/confluence/display/Hive/Column+Statistics+in+Hive
- 1、在表信息的基础上进行了扩展,可以对列信息进行统计,命令为
analyze table t [partition p] compute statistics for [columns c,...];
- 2、查看列信息统计的命令为
describe formatted [table_name] [column_name];