引入Hive的原因

使用SQL操作HDFS上的数据

Hive内部是什么

Hive二进制分支版本包括三部分

• Java代码本身（在$HIVE_HOME/lib目录）
• 服务可执行文件（在$HIVE_HOEM/bin目录，包括CLI，可用于提供交互式界面供输入语句或者可以供用户执行含有Hive语句的脚本）
• 其他组件（Thrift服务提供了可远程访问其他进程的功能，也提供JDBC和ODBC访问Hive的功能）
  Hive还提供了一个简单的网页界面，也就是Hive网页界面（HWI），提供了远程访问Hive服务

命令行界面

CLI选项

下列命令显示CLI所提供的选项列表

hive --help --service cli

这里我使用的是1.2.1版本

usage: hive
 -d,--define <key=value>          Variable subsitution to apply to hive
                                  commands. e.g. -d A=B or --define A=B
    --database <databasename>     Specify the database to use
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
 -H,--help                        Print help information
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable subsitution to apply to hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)

接下来详细探讨这些选项

变量和属性

--define key=value和--hivevar key=value是等价的

作用是让用户在命令行定义用户自定义变量以便在hive脚本中使用

变量或者属性是在不同上下文中使用的属于，在大多数情况下，它们的功能是相同的

Hive中的变量是以Java字符串的方式存储的。用户可以在查询中引入变量。Hive会先使用变量值替换掉查询中的变量引用，然后才会将查询语句提交给查询处理器
在CLI中可以使用Set命令显示或者修改变量值
Set显示变量值：

hive> set env:HOME;
env:HOME=/root

Set给变量赋值：

[root@node02 ~]# hive --define foo=bar
18/12/24 22:24:17 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

Logging initialized using configuration in jar:file:/opt/software/hive-1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive> set foo;
foo=bar
hive> set hivevar:foo;
hivevar:foo=bar
hive> set hivevar:foo=bar2;
hive> set foo;
foo=bar2
hive> set hivevar:foo;
hivevar:foo=bar2
hive> 

可以看到前缀hivevar是可选的
前面说过：在CLI中查询语句中的变量引用会先被替换掉然后才会提交给查询处理器。比如：

hive> create table toss1(i int,${hivevar:foo} string);
OK
Time taken: 1.709 seconds
hive> describe toss1;
OK
i                       int                                         
bar2                    string                                      
Time taken: 0.768 seconds, Fetched: 2 row(s)
hive> create table toss2(i2 int,${foo} string);
OK
Time taken: 0.082 seconds
hive> describe toss2;
OK
i2                      int                                         
bar2                    string                                      
Time taken: 0.112 seconds, Fetched: 2 row(s)
hive> drop table toss1;
OK
Time taken: 1.394 seconds
hive> drop table toss2;
OK
Time taken: 0.152 seconds

我们看看--hiveconf选项（也可以用-hiveconf）
作用：配置hive行为的所有属性
比如，我们用它来指定hive.cli.print.current.db属性（开启这个属性即可以在CLI提示符前打印出当前所在的数据库名），默认数据库名为default，而这个属性默认是false。

[root@node02 ~]# hive --hiveconf hive.cli.print.current.db=true
18/12/24 22:37:04 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

Logging initialized using configuration in jar:file:/opt/software/hive-1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive (default)> set hive.cli.print.current.db;
hive.cli.print.current.db=true
hive (default)> set hive.cli.print.current.db=false;
hive> set hive.cli.print.current.db=true;
hive (default)> 

我们甚至可以增加新的hiveconf属性：

[root@node02 ~]# hive --hiveconf y=5
hive> set y;
y=5

我们还有必要了解一下system命名空间。Java系统属性对这个命名空间具有可读可写的权利，而env命名空间，对于环境变量只提供可读权限。

hive> set system:user.name;
system:user.name=root
hive> set system:user.name=rivers;
hive> set system:user.name;
system:user.name=rivers
hive> set env:HOME;
env:HOME=/root
hive> set env:HOME=rivers;
env:* variables can not be set.
Query returned non-zero code: 1, cause: null

Hive中“一次使用”命令

用户可能有时期望执行一个或多个查询（用分号间隔），执行结束后hive CLI立即退出。Hive提供了这样的功能，因为CLI可以接受-e命令这种形式。比如：（表pro_distribution是随便找的测试表，有两个字段）

[hadoop@zbnamenode01 conf]$ hive -e "select * from pro_distribution limit 2";
OK
087606097909    0.3146947702628951
045902825931    0.3146947702628951
Time taken: 0.978 seconds, Fetched: 2 row(s)
[hadoop@zbnamenode01 conf]$ 

临时应急时可以使用这个功能将查询结果保存到一个文件中。
增加-S选项可以开启静默模式，这样可以在输出结果中去掉"OK"和"Time taken"等行，以及一些无关紧要的输出信息，如：

[hadoop@zbnamenode01 tmp]$ hive -S -e "select * from pro_distribution limit 2" > ~/tmp/myquery
[hadoop@zbnamenode01 tmp]$ cat myquery 
087606097909    0.3146947702628951
045902825931    0.3146947702628951

从文件中执行Hive查询

Hive中可以使用-f文件名方式执行文件中的一个或多个查询语句。按照惯例（也就是仅仅是建议）一般把这些Hive查询文件保存为具有.q或者.hql后缀名的文件。
我先创建一个probquery.hql文件并用vim写入Hive查询语句

select * from pro_distribution limit 2;

然后用hive -f 文件的方式执行

[hadoop@zbnamenode01 tmp]$ hive -f probquery.hql 
OK
087606097909    0.3146947702628951
045902825931    0.3146947702628951
Time taken: 0.966 seconds, Fetched: 2 row(s)

在Hive Shell中用户可以使用source命令来执行一个脚本文件。如：

hive> source /home/hadoop/tmp/probquery.hql;
OK
087606097909    0.3146947702628951
045902825931    0.3146947702628951
Time taken: 0.865 seconds, Fetched: 2 row(s)

执行Shell命令

用户不需要退出Hive CLI就可以执行简单的Shell命令。只要在命令前加上！并以(;)结尾就可以。如：

hive> ! pwd;
/home/hadoop/tmp
hive> ! echo "hello";
"hello"
hive> 

在Hive中使用Hadoop的dfs命令

用户可以在Hive中使用Hadoop的dfs命令，只需要将hhadoop命令中的关键字hadoop去掉，然后以分号结尾就可以了。如：

hive> dfs -ls /;
Found 8 items
drwxr-xr-x   - hadoop supergroup          0 2018-09-19 16:26 /data
drwxr-xr-x   - hadoop supergroup          0 2017-09-01 09:30 /hive
drwxr-xr-x   - hadoop supergroup          0 2018-12-18 11:12 /offnet
drwxr-xr-x   - hadoop supergroup          0 2018-12-11 12:32 /root
drwxrwxrwx   - hadoop supergroup          0 2018-07-25 17:24 /tmp
drwxr-xr-x   - hadoop supergroup          0 2018-12-25 09:24 /u1
drwxrwxrwx   - hadoop supergroup          0 2018-12-12 10:29 /user
drwxr-xr-x   - hadoop supergroup          0 2017-08-16 12:10 /usr

Hive脚本中如何进行注释

用户可以以--开头的字符串进行注释

-- just a test
select * from pro_distribution limit 2;