Spark sql-sql on hive
Spark1.0添加了sql模块。对hive的hiveql也提供了良好的支持。本章主要介绍spark如何对hql进行支持的。
1. HIve
1.1 hive
hive的数据类型
- table
- partition
- bucket
hiveql的分类
- DDL：比如创建数据库 创建表 删除等，
- DML： 数据的添加查询
- UDF：自定义查询函数
hive的整体框架
- 用户接口支持cli jdbc webui
- driver 负责将用户指令翻译成相应的mapreduce job
- metastore 元数据存储仓库，想数据库和表的定义这些内容就属于元数据这个范畴，
1.2 hiveql on mapreduce执行过程分析
hiveql的执行过程如下：
- parser：将hiveql解析成相应的语法树
- semantic analyser：语法分析
- logicalplan generating：生成相应的logicalplan
- queryplan generating：生成相应的queryplan
- optimizer：优化器
最后生成的mr job 交给hadoop的mr计算框架进行计算。
import hiveContext._
val hivecontext=new HIveConetxt(sc)
hql("create table if not exists src(key int,value string)")
2. HiveQL on Spark
hive的整体解决方案很不错，但有一些地方需要改进。其中之一就是查询到结果返回需要相当长的时间。主要是生成的任务是基于mr的。那么可以生成spark job么。
HIvecontext是spark提供的用户接口。hiveContext集成子sqlContext。
有了上述比较，就能抓住源码分析需要把握的几个关键点。
- entrypoint hivecontext.scala
- queryexecution。hivecontext。scala
- parser HIveQl.scala
- optimizer
需要用到的数据：
- schema data 想数据库的定义和表的结构，存储在metadata中
- raw data 要分析的文件本身
hiveql的定义和sql基本上一样。
parsesql解析过程分为两类：
- nativecommand 非select语句
- 非nativecommand 主要是select语句
至于那些事nativecommand，hiveql里面列举了。对于非nativecommand，主要的函数事nodetoplan。
spark对hiveql的所做的优化主要体现在query相关操作，其他的依然使用hive的原声执行引擎。
在logicalplan 到physicalplan的转换过程中，tordd最关键的元素。
由于nativecommand是一些不怎么耗时的操作，因此直接使用hive中原油的execute engine来执行即可。这些command的执行示意如下：
