是什么

• Hive是一个SQL解析引擎，将SQL语句转译成MapReduce Job，然后在Hadoop平台上运行，达到快速开发的目的。
• Hive中的表是纯逻辑表，表的定义（元数据）。本质就是Hadoop的目录/文件，达到了元数据和数据存储分离的目的
• Hive本身不存储数据，完全依赖HDFS和MapReduce，数据实际存在HDFS，元数据基本存在Mysql
• Hive内容读多写少，不支持对数据的改写和删除
• Hive中没有定义专门的数据格式，由用户指定
  • 列分隔符：空格，\t，\001
  • 行分隔符：\n

为什么

Hive中的SQL与传统SQL区别

• 可扩展性
  • UDF:用户自定义普通函数，直接应用于select语句，通常查询的时候，需要对一些字段进行处理（大小写处理等），特点就是一进一出，一对一的场景
  • UDAF:用户自定义聚合函数，适用于多对一的场景（group by）
  • UDTF:用户自定义表生成函数，适用于一对多场景（split）
• 数据检查
  • 读时模式：
    只有hive读的时候才会检查，解析字段和数据结构表达（scheme）
    优点：写数据很迅速，因为在写的过程中不需要数据解析
  • 写时模式：
    缺点：写的慢，需要对数据进行建立索引，压缩、数据一致性、字段检查等等
    优点：读的时候会得到优化

有什么

架构

语句转换

• 解析器：生成抽象语法树
• 语法分析器：验证查询语句
• 逻辑计划生成器（包括优化器）：生成操作符树
• 查询计划生成器：转换为MapReduce任务，hive本身不会生成MapReduce，而是通过执行查询计划来执行mapr（xml文件---mapper，reduce模块）

数据存储/管理

• hive表的本质就是Hadoop的目录/文件，hive默认表存放路径一般在工作目录的hive目录里面，按表名做文件夹分开
  元数据（mysql） + 实际数据（HDFS）：
  1.默认derby：本地，单用户模式
  2.建mysql：多用户模式（本地+远程）
• Hive语句生成查询计划，由MapReduce调用执行

数据结构

数据表

• 内部表（table）：表删除，内部数据也删除
• 外部表（external table）：表删除，内部数据不删除
• 建议使用外部表，删除之后重建表，数据自动恢复

分区表（partition）

有限范围内的分区，按照日期等分区，辅助查询，缩小查询范围，加快数据检索速度

分桶表（bucket）

• hive会针对某一列进行桶的组织，通常对列值hash（取模分桶号）
• 分桶时需要先执行set hive.enforce.bucketing=true
• 优点：
  • 优化查询：把两个大表的join分成了小表join，会自动激活map端的map-side-join
  • 方便取样：可以在大规模数据中取小部分进行采样分析
• 采样
  • 语法：tablesample是抽样语句,TABLESAMPLE(BUCKET x OUT OF y)
  • 示例：select * from student tablesample(bucket 1 out of 2 on id)
  • 解析：y必须是table总bucket数的倍数或者因子。例如,table总bucket数为32,tablesample(bucket 3 out of 16),表示总共抽取(32/16=)2个bucket的数据,分别为第3个bucket和第(3+16=)19个bucket的数据

数据类型

• 原生类型
  • TINYINT
  • SMALLINT
  • INT
  • BIGINT
  • BOOLEAN
  • FLOAT
  • DOUBLE
  • STRING
  • BINARY(Hive0.8.0以上才可用)
  • TIMESTAMP(Hive0.8.0以上才可用)
• 复合类型
  • Arrays:ARRAY<data_type>
  • Maps:Map<Key,Value>
  • Structs:STRUCT<col_name:data_type>
  • Union:UNIONTYPE<data_type,data_type,.......>