1 . jion 的时候把大表放后面
2. join on 使用相同连接键位 ，避免产生多个mapreduce
3. 尽早的过滤数据，避免数据倾斜
4.尽量原子化操作
5.用insert into替换union all 可以节约 50%
6.order by & sort by
order by : 对查询结果进行全局排序，消耗时间长。需要 set hive.mapred.mode=nostrict
sort by : 局部排序，并非全局有序，提高效率。
7.设置hive 并发执行
set hive.exec.parallel=true,可以开启并发执行。
set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度，默认为8。
8. hive Map 端优化
set mapred.max.split.size=100000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
-- 前面三个参数确定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，小于128m,大于100m的，按照100m来分隔，把那些小于100m的（包括小文件和分隔大文件剩下的）进行合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; -- 执行前进行小文件合并 2）增加map数
当input的文件都很大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数，来使得每个map处理的数据量减少，从而提高任务的执行效率。
set mapred.reduce.tasks=?
2 Reduce阶段优化
调整方式：
-- set mapred.reduce.tasks=?
-- set hive.exec.reducers.bytes.per.reducer = ?
一般根据输入文件的总大小,用它的estimation函数来自动计算reduce的个数：reduce个数 = InputFileSize / bytes per reducer
hive 数据倾斜
1)、key分布不均匀
2)、业务数据本身的特性
3)、建表时考虑不周
4)、某些SQL语句本身就有数据倾斜
hive.map.aggr=true
Hive 总结 ： 尽量使用 join on 连接多个表生成多个语句 ，大表放在最后面连接执行，今早的过滤数据 ，合并小文件增加task 线程数 ，并发执行增加线程数 ，严格模式不允许执行 分区表没有指定分区 使用order by 没有是limit 语句，join 时没有On
2. 并发执行：
hive.exec.parallel=true ，默认为false
hive.exec.parallel.thread.number=8
3.Strict Mode：
hive.mapred.mode=true，严格模式不允许执行以下查询：
分区表上没有指定了分区
没有limit限制的order by语句
笛卡尔积：JOIN时没有ON语句
