Hive产生背景
- MapReduce编程的不便性
- HDFS上的文件缺少Schema
Hive是什么
1)由Facebook开元,最初用于解决海量结构化的日志数据统计问题
2)构建在Hadoop之上的数据仓库
3)Hive定义了一种类SQL查询语言:HQL
4)通常用于进行离线数据处理(采用MapReduce)
5)底层支持多种不同的执行引擎(MapReduce、Tez、Spark)
6)支持多种不同的压缩格式、存储格式以及自定义函数
压缩:GZIP、LZO、Snappy、BZIP2
存储:TextFile、SequenceFile、RCFile、ORC、Parquet
UDF:自定义函数