控制Map数的个数
读取小文件较多，那么则需要在map端进行小文件合并，参数设置如下：
-- 设置输入文件格式
set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
--是否支持可切分的CombieInputFormat ，true是支持
set hive.hadoop.supports.splittable.combineinputformat = true;
set mapreduce.input.fileinputformat.split.maxsize = 256000000;
set mapreduce.input.fileinputformat.split.minsize.per.node=256000000;
set mapreduce.input.fileinputformat.split.minsize.per.rack=256000000;
控制Reduce数目
在设置动态分区后，产生的文件数会取决于map数和分区数的大小，假设动态分区初始有N个map数，同时生成M个分区，则中间会生成N*M个文件，通常这种情况就是让大部分数据尽量输出到一个reduce中进行处理，但是有些HiveSql不会产生reduce，也就是说文件最后没有进行合并处理，这种情况下可以用distribute by rand()的方式保证数据进行一次reduce操作，实现文件的合并。
两种处理方式参数设置如下：
a. 设置reduce个数
set mapred.reduce.tasks=50;
insert into table xxx
select * from xxx distribute by rand();
备注：set设置的参数是生成的文件个数，distribute by rand()保证数据随机分配到50个文件中。
b. 设置每个reducer处理的数据
set hive.exec.reducers.bytes.per.reducer=5120000000;
insert into table xxx
select * from xxx distribute by rand();
备注：set设置的参数是生成的文件大小，distribute by rand()保证数据的平均大小是512Mb。
