1,Load方式
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename
[LOCAL]可选项,
带LOCAL表示从你的linux服务器上面加载文件到HIVE表内容里面,Local本地上面对应的这个文件不会消失.
不带LOCAL标识从你的HDFS上面文件移动到HIVE表内容里面,Hdfs路径下对应的该文件就会消失
不管是否带有LOCAL标识,其实本质上面都是把这个文件加载到Hive表对应的Hdfs路径下.
直接把这个文件使用hdfs dfs -mv或者hdfs dfs -put到Hive表对应的路径下效果是一样的.只不过使用Load方式加载必须是在Hive的命令行界面操作
另外注意的是:带Local肯定比不带Local效率低,原理其实很简单:
Local模式:本地(Linux)-Hdfs-mv 到Hive路径文件夹
非Local模式:Hdfs-mv 到Hive路径文件夹,
效率大概是5倍关系
[OVERWRITE]可选项
load data inpath '/hive_test/four.txt' overwrite into table two;
表示插入数据是否会覆盖之前的数据,加上overwrite就会覆盖之前数据,不加上是在之前数据基础上执行追加
即Hive该表对应的Hdfs上面的文件都会被清空,只剩下最新的four.txt文件,所以在查询表时候,只有four的数据,其实之前数据都被干掉了
上面我们能够了解到,其实所谓的Hive表的数据,就可以理解成这个表对应的在Hdfs路径下的数据文件
但是会有人有疑问,这个如果要是外部表(External)呢,因为外部表相当于是一个壳子,我们在删除外部表(drop table)时候,只是把外部表这个壳子删除了,你就可以理解成外部表没有权限删除对应的Hdfs上面的数据
但是在使用overwirte into external table,他会把Hdfs上面的数据覆盖到,从这里更可以看出,Load的权限更高,Load底层就是直接靠直接操作表对应Hdfs上面的文件夹下的文件来实现的.
External外部表虽然删除表时候不能够删除Hdfs上面数据,Managed内部表可以删除数据,其实这个就可以理解为Hive给的这两个表不同的权限而已,比如Load命令就有操作文件权限,上面也讲了,文件就是Hive的表数据
我的另一篇博客详细的介绍了内部表和外部表.
https://www.jianshu.com/p/afe1b575bd11
2,Inserting data into Hive Tables from queries
官网标准语法:
INSERT OVERWRITE TABLE tablename1 [IF NOT EXISTS]] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename1 select_statement1 FROM from_statement;
本质:复制一个表在Hdfs上面的路径下的文件到另一个表对应的Hdfs路径下面,走MapReduce过程,所以给出建议,如果是单纯的这种将一个表的数据放到另一表下面,建议可以采用Hdfs的命令,直接hdfs dfs -cp /a表路径所有文件 /b表路径
但是如果是查询部分数据的话,还是建议采用这种方式.
另一种方式:
FROM from_statement
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2]
这种方式虽然非常反人类,可读性差,这种方式设计之初是为了满足一条SQL语句适用于两个不同的场景下
FROM emp
INSERT OVERWRITE/INTO TABLE result1 A业务
INSERT OVERWRITE/INTO TABLE result2 B业务
,Insert方式
因为他是每插入一条数据,就会在该表目录下生成一个小文件,每一个小文件对应一条数据,10W条对应10W个小文件,生产上慎用
insert into one values(1,'dema');
insert into one values(2,'xiya');
小文件
