Hive 有四种表的类型
- 内部表（管理表）
由Hive完全管理表和数据的生命周期。默认创建的表是内部表。
删除表的时候，数据和元数据都被删除。 - 外部表
删除外部表时只删除元数据，不会删除它关联的数据文件。外部表更加安全和灵活，易于数据的共享。 - 分区表
根据业务编码、日期、其他类型等维度创建分区表，在一个表对应的目录下，一个分区对应一个目录。
单表数据量巨大，而且查询又经常限定某一个类别，那么可以将表按照该类别进行分区，以提高数据查询效率，减少资源开销。 - 分桶表
对表的某个字段做哈希，将哈希值相同的行分配到相同的表中。适合用来数据抽样。
这4种类型用以满足不同的业务场景，简化使用方式，提高生产速度。作为一个经验法则，如果所有的处理都由hive完成，应该使用管理表；外部表可以用于从hive导出数据提供其他应用程序使用。
Hive中sort by、order by、cluster by、distribute by的区别
-
sort by: 会在每个 reducer 中对数据进行排序，也就是执行一个局部排序过程，保证每个 reducer 输出的数据都是有序的。这样可以提高后续全局排序的过程。 -
order by: 对查询结果做全局排序，因此会有一个所有数据经过一个 reducer 处理的过程。计算规模较大，时间可能会很长。在严格(strict)模式下需要加上LIMIT子句。 -
cluster by: 当distribute by和sort by字段相同时，可使用cluster by方式替代。排序只能是升序排序，不能指定排序规则为ASC或者DESC。此外，cluster by可以用来创建分桶表。 -
distribute by: 控制 map 的输出在 reducer 中是如何划分的。如果我们想让同一年的数据一起处理，那么就可以使用distribute by来保证具有相同年份的数据分发到同一个 reducer 中进行处理。通常会跟sort by一起使用。
Hive 中的数据类型：
1、简单数据类型：
（1）整型，如：tinyint，smallint，int，bigint。
（2）字符串类型，如：string。
（3）时间戳类型（java.sql.Timestamp）
（4）布尔型。
（5）浮点型，如：float，double。
2、集合数据类型：
（1）映射，关键字：map。
（2）结构体，关键字：struct。
（3）数组，关键字：array。
3、null类型：在hive中底层是用'\N'来存储的，可以通过alter table tableName set serdeproperties（'serialization.null.format'='a'来设置。
构建一张包含各种数据类型的表：
CREATE TABLE employee (
name STRING,
salary FLOAT,
subordinates ARRAY<STRING>
deductions MAP<STRING, FLOAT>,
address STRUCT<street:STRING, city: STRING, state: STRING>);
Hive 数据倾斜
Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个 reducer 运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比其他key多很多，这些key所在的reducer 所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。
如何避免数据的倾斜：
（1）给key一个随机的值，打散key。
（2）Hive中的参数调节：①hive.map.aggr = true。②hive.groupby.skewindata = true。作用：有数据倾斜的时候进行负载均衡，当选项设定位true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个Reduce中），最后完成最终的聚合操作。
（3）SQL语句的调节：1、选用join key分布最均匀的表作为驱动表。2、大小表join的时候，让维度较小的表先进内存。3、大表join的时候，把空值的key变成一个字符串加上一个随机数，把倾斜的数据分到不同的reduce上。4、count distinct大量相同特殊值。
