HDFS命令

• HDFS命令

Usage: hdfs [--config confdir] COMMAND where COMMAND is one of:

• 常用命令

对于HDFS dfs命令，针对在shell命令在大部分可以使用，只要在相应的命令前加 -。使用时，在Hive Cli可以省略hadoop命令。

展示hdfs文件中的根目录：

hdfs dfs -ls /

展示home目录下的信息:

hdfs dfs -ls

创建home目录下创建目录product,当没有加目录时，就是在对应用户的home目录

hdfs dfs -mkdir product

拷贝文件到HDFS,将product.csv文件拷贝到刚才创建的product文件夹下。

hdfs dfs -put product.csv product

将文件从HDFS上拷贝到本地系统

hdfs dfs -get product/prodcut.csv product_copy.csv

在HDFS文件系统内进行文件拷贝

hdfs dfs -cp product/product.csv  product_copy.csv

删除文件

hdfs dfs -rm  product_copy.csv

删除一个目录

hdfs dfs -rm -r product

获取HDFS转态报告(限管理员)

hdfs dfsadmin -report

对HDFS文件系统的健康型检查

hdfs fsck /

Hive命令

JDBC连接元数据

Hive元数据存储了如表的模式和分区等信息，用户执行如CREATE TABLE或ALTER TABLE等命令会制定这些信息，对于这些会存在并发同时访问，所以

默认的内置数据库不适合于生产环境,目前绝大多数情况系啊，使用Mysql进行存储元数据信息，Mysql驱动的存放位置为：

hive-site.xml 配置文件中
 <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://sandbox-hdp.hortonworks.com/hive?createDatabaseIfNotExist=true</value>
    </property>

命令行选项

执行 hive -h 或 hive --help 可以查看命令选项

变量和属性

--define key = value 等价于 --hivevar key=value,可在命令行定义用户自定义变量以便在Hive脚本中引用，来满足不同的执行。

Hive将这些键值对放到Hivevar命名空间，这样可以和其他的3中内置命名空间hiveconf,system,env 进行区分。

相关命名空间:

使用 set 命令对各不同命名空间中的变量进行设置,shell环境变量，对应的可以使用 echo $param 来进行输出现实。通用的

配置信息可以在 /etc/profile，/etc/bashrc , ~/bash_profile 文件中定义。

set env:home            |  echo $HOME

set env:HADOOP_HOME    |  echo $HADOOP_HOME

set env:JAVA_HOME      |  echo $JAVA_HOME

使用 -d 或 --hivevar进行定义变量。

hive -d  max_year=2018

hive --hivevar configinfo=something --hivevar hosturl=hostname

--hiveconf 配置信息,hive的配置参数，覆盖hive-site.xml中的参数值

hive --hiveconf hive.cli.print.current.db=true --hiveconf hive.cli.print.header=true;

hive --hiveconf hive.root.logger=INFO,console

hiverc | hive -i 文件配置,在Hive cli中使用-i参数进行制定一个配置文件,在cli启动时，在提示符出现前会执行这个文件。Hive会自动在HOME目录下寻找名为.hiverc的文件，而且会自动

执行这个文件中的命令。

对于用户需要频繁执行的命令，使用这个文件是很方便的。例如设置系统属性，或增加对于Hadoop的分布内存进行自定义的Hive扩展Java包。

查看.hiverc文件,在对应账号的home目录,如果没有，就自己创建一个。对于配置的内容，通用使用 set 命令进行设置。

Hive常用设置

使用举例

hive -e 一次性执行Hive Sql语句。

结合使用 hivevar

hive --hivevar param=data -e "SELECT * FROM TABLE WHERE cloum > ${hivevar:param} "

hive -f 指定Hive Sql脚本文件

hive --hivevar param=data -f "hive sql file path"

查看Hive操作历史命令:

Hive 会将近10000行命令记录到文件 $HOME/.hivehistory

在Hive中执行Shell命令，在命令前加 ! 即可

> !ls;

详细内容 https://blue-shadow.top/tags/Hive/