| 主要功能 | hive配置参数 | 作用 | 默认值 | 应用场景 |
|---|---|---|---|---|
| 并发 | hive.exec.parallel=true; | 多job并发 | ||
| hive.exec.parallel.thread.numbe=X; | 可以并行化的job数 | 8 | ||
| 输入合并小文件 | hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; | 执行Map前进行小文件合并。一个data node节点上多个小文件会进行合并，合并文件数由mapred.max.split.size限制的大小决定。 | ||
| hive.hadoop.supports.splittable.combineinputformat = true; | 是否支持可切分的 CombieInputFormat | FALSE | ||
| 小文件 | mapreduce.job.split.metainfo.maxsize=-1 | java.io.IOException:Split metadata size exceeded 10000000，小文件过多 | ||
| mapreduce.jobtracker.split.metainfo.maxsize = －1 | ||||
| mapreduce.job.running.map.limit=50000; | map数超过50000的job设置： | |||
| map数 | mapred.min.split.size = X; | 每个Map最小输入大小 | ||
| mapred.max.split.size=X; | 每个Map最大输入大小 | |||
| mapred.min.split.size.per.node=100000000; | 一个节点上（datanode）split至少的大小， | |||
| mapred.min.split.size.per.rack=100000000; | 同一个交换机(rack locality)下split至少的大小 | |||
| mapreduce.input.fileinputformat.split.maxsize = 256000000; | mapred代表的是hadoop旧API，而mapreduce代表的是hadoop新的API。 | |||
| mapreduce.input.fileinputformat.split.minsize.per.node=256000000; | ||||
| mapreduce.input.fileinputformat.split.minsize.per.rack=256000000; | ||||
| reduce数 | hive.exec.reducers.bytes.per.reducer = X; | 每个reducer处理的文件大小，默认是1GB，调整reduce数目 | 100000000 | 生成的文件大小，设置每个reducer处理的数据hive.exec.reducers.bytes.per.reducer=5120000000; insert into table xxx select * from xxx distribute by rand();备注： 设置的参数是生成的文件大小，distribute by rand()保证数据的平均大小是512Mb。 |
| hive.exec.reducers.max | 控制最大的reducer的数量， 如果 input / bytes per reduce >max 则会启动这个参数所指定的reduce个数。 这个并不会影响mapre.reduce.tasks参数的设置。默认的max是999 | 999 | ||
| hive.mapred.reduce.tasks | 这个参数如果指定了，hive就不会用它的estimation函数来自动计算reduce的个数，而是用这个参数来启动reducer。默认是-1(reduce的个数设置其实对执行效率有很大的影响：1)、如果reduce太少： 如果数据量很大，会导致这个reduce异常的慢，从而导致这个任务不能结束，也有可能会OOM 2)、如果reduce太多： 产生的小文件太多，合并起来代价太高，namenode的内存占用也会增大。如果我们不指定mapred.reduce.tasks，hive会自动计算需要多少个reducer。计算的公式： reduce个数 = InputFileSize / bytes per reducer 3)、估算reducer的个数，及计算公式：注意最重要的一句话：int reducers = (int)((totalInputFileSize +bytesPerReducer - 1) / bytesPerReducer)) | 生成的文件个数。设置reduce个数 mapred.reduce.tasks=50; insert into table xxx select * from xxx distribute by rand();备注： 设置的参数是生成的文件个数，distribute by rand()保证数据随机分配到50个文件中。 | ||
| 输出合并小文件 | hive.merge.mapredfiles = true | 正常的map-reduce job后，是否启动merge job来合并reduce端输出的结果，建议开启 | ||
| hive.merge.mapfiles = true; | 正常的map-only job后，是否启动merge job来合并map端输出的结果 | |||
| hive.merge.size.per.task = X; | 合并后文件的大小 | |||
| hive.merge.smallfiles.avgsize=X; | 当输出文件平均大小小于该值，启动新job合并文件 | -1 | ||
| 输出压缩 | mapred.output.compress=true; | 压缩输出 | ||
| hive.exec.compress.output=true; | 为最终输出结果启用压缩 | |||
| mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec; | 输出所用的压缩codec 常见的压缩格式：DEFLATE org.apache.hadoop.io.compress.DefaultCodec gzip org.apache.hadoop.io.compress.GzipCodec bzip org.apache.hadoop.io.compress.BZip2Codec Snappy org.apache.hadoop.io.compress.SnappyCodec | org.apache.hadoop.io.compress.DefaultCodec | ||
| mapred.output.compression.type=BLOCK; | 控制限制使用压缩格式,默认值为RECORD, 即对每一条记录进行压缩, 如果将其改为BLOCK,将针对一组记录进行压缩SqeuenceFile的输出可以使用的压缩类型:NONE,RECORD,BLOCK | RECORD | ||
| 中间过程压缩 | hive.exec.compress.intermediate=true; | 为map中间输出启用压缩。 | ||
| mapred.map.output.compression.codec=com.hadoop.compression.lzo.LzoCodec; | 一般对于中间输出压缩采用低压缩比，高压缩解压缩速度的压缩算法，如LZO,Snappy | org.apache.hadoop.io.compress.DefaultCodec | ||
| hive.intermediate.compression.type=BLOCK; | RECORD | |||
| 动态分区 | hive.exec.max.created.files=100000; | 动态分区属性,全局可以创建的最大文件个数 | 100000 | |
| hive.exec.dynamic.partition.mode = nonstrict; | 动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。一般需要设置为nonstrict | strict | ||
| hive.exec.dynamic.partition = true; | 是否开启动态分区功能，默认false关闭。使用动态分区时候，该参数必须设置成true; | FALSE | ||
| hive.exec.max.dynamic.partitions.pernode | 在每个执行MR的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如：源数据中包含了一年的数据，即day字段有365个值，那么该参数就需要设置成大于365，如果使用默认值100，则会报错。 | 100 | ||
| hive.exec.max.dynamic.partitions | 在所有执行MR的节点上，最大一共可以创建多少个动态分区。 | |||
| hive.error.on.empty.partition | 当有空分区生成时，是否抛出异常。一般不需要设置。 | FALSE | ||
| groupby负载均衡 | hive.groupby.skewindata=true; | 负载均衡（一般不建议使用，会有丢数据的风险）数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob 中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到Reduce中（这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中），最后完成最终的聚合操作。 | ||
| hive.groupby.mapaggr.checkinterval=100000; | group的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置 | |||
| 查看 | hive.stats.dbclass=counter; | 存储临时Hive统计信息的方式 | ||
| dfs.block.size; | 查看集群设置的文件块大小，不能修改，值为134217728，即128mb。 | |||
| io.compression.codecs; | 查看集群的支持的压缩算法.org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.SnappyCodec | |||
| 数据倾斜优化 | hive.auto.convert.join=true | /+mAPJOIN(小表名)/ 小表加载到内存中，表的JOIN操作是在Map端且在内存进行的 | FALSE | 大表 join 小表 |
| hive.optimize.skewjoin=true | join过程出现倾斜则优化 | |||
| hive.skewjoin.key=1000000 | join的键对应的记录条数超过这个值则会进行优化 | |||
| 作业 | mapreduce.job.name | 作业名称 | ||
| mapreduce.job.priority | 作业优先级，VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW | NORMAL | ||
| MR ApplicationMaster设置 | yarn.app.mapreduce.am.resource.mb | MR ApplicationMaster占用的内存量 | 1536 | |
| yarn.app.mapreduce.am.resource.cpu-vcores | MR ApplicationMaster占用的虚拟CPU个数 | 1 | ||
| mapreduce.am.max-attempts | MR ApplicationMaster最大失败尝试次数 | 2 | ||
| Map Task | mapreduce.map.memory.mb | 每个Map Task需要的内存量 | 1024 | MAP YARN 申请内存 4096 |
| mapreduce.map.cpu.vcores | 每个Map Task需要的虚拟CPU个数 | 1 | ||
| mapreduce.map.maxattempts | Map Task最大失败尝试次数 | 4 | ||
| Reduce Task | mapreduce.reduce.memory.mb | 每个Reduce Task需要的内存量 | 1024 | REDUCE YARN 申请内存 |
| mapreduce.reduce.cpu.vcores | 每个Reduce Task需要的虚拟CPU个数 | 1 | ||
| mapreduce.reduce.maxattempts | Reduce Task最大失败尝试次数 | 4 | ||
| mapreduce.map.speculative | 是否对Map Task启用推测执行机制 | FALSE | ||
| mapreduce.reduce.speculative | 是否对Reduce Task启用推测执行机制 | FALSE | ||
| mapreduce.map.sort.spill.percent | Map阶段溢写文件的阈值（排序缓冲区大小的百分比） | 0.8 | ||
| mapreduce.reduce.shuffle.parallelcopies | Reduce Task启动的并发拷贝数据的线程数目 | 5 | ||
| 队列 | mapreduce.job.queuename | 作业提交到的队列 | default | |
| io | mapreduce.task.io.sort.mb | 任务内部排序缓冲区大小 | 100 | |
| io.sort.mb = X; | map输出缓冲区大小 | 100 | ||
| io.sort.factor = X; | map端或reduce端排序文件时，每次对多合并流数,默认值为10 | 10 | ||
| yarn | yarn.app.mapreduce.am.command-opts=-Xmx8192m | beyond virtual memory limits | ||
| yarn.app.mapreduce.am.resource.mb=9216 | ||||
| JVM | mapreduce.map.java.opts=-Xmx3572M; | 一般 JVM 参数可以是 Yarn 申请内存的 80%, 如果 都比较大，可以酌情 | MAP JVM 内存 | |
| mapreduce.reduce.java.opts=-Xmx4096M; | REDUCE JVM 内存 | |||
| yarn.app.mapreduce.am.resource.mb=2000; | AM YARN 申请内存 | |||
| yarn.app.mapreduce.am.command-opts=-Xmx1524m; | AM JVM 内存 | |||
| 矢量查询(Vectorized query) | hive.vectorized.execution.enabled = true; | 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。 | ||
| hive.vectorized.execution.reduce.enabled = true; | ||||
| TEZ | hive.execution.engine=tez; | Tez 是一个开源的支持DAG作业的计算框架，它来源于MapReduce框架。 | ||
| set hive.mapjoin.hybridgrace.hashtable=false | Hive2.1.0的版本有一个BUG。使用Tez的时候需要设置 | |||
| COST BASED QUERY OPTIMIZATION | set hive.cbo.enable=true; | COST BASED QUERY OPTIMIZATION可以优化hive的每次查询。如果我们想要使用CBO，需要通过HIVE的分析模式来收集表的不同统计数据，我们可以通过下面的命令来进行:analyze table tweets compute statistics for columns; | ||
| set hive.compute.query.using.stats=true; | ||||
| set hive.stats.fetch.column.stats=true; | ||||
| set hive.stats.fetch.partition.stats=true; |
资料：
https://zh.hortonworks.com/blog/5-ways-make-hive-queries-run-faster/
Hive官网：https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration
Hadoop官网：http://hadoop.apache.org/docs/current/
set -v; 查看hive的所有默认配置。
