Hive--动态分区

set hive.exec.dynamic.partition=true;(可通过这个语句查看:set hive.exec.dynamic.partition;) 
set hive.exec.dynamic.partition.mode=nonstrict; 
SET hive.exec.max.dynamic.partitions=100000;(如果自动分区数大于这个参数,将会报错)
SET hive.exec.max.dynamic.partitions.pernode=100000;

建立分区表时动态分区的语法.

CREATE TABLE table_name    -
partitioned by (datekey)  --可以多个字段的组合分区 
Stored AS PARQUET
as
SELECT col1,col2,col3,DateKey FROM otherTable

插入数据时动态分区

INSERT INTO TABLE table_Name

PARTITION (DateKey)

SELECT col1,col2,col3,DateKey FROM otherTable

WHERE DATEKEY IN ('2017-02-26','2013-06-12','2013-09-24')

GROUP BY col1,col2,col3,DateKey  

DISTRIBUTE BY DateKey
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Hive的insert语句能够从查询语句中获取数据,并同时将数据Load到目标表中。现在假定有一个已有数据的表st...
    pcqlegend阅读 1,533评论 0 1
  • ORA-00001: 违反唯一约束条件 (.) 错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。 O...
    我想起个好名字阅读 5,945评论 0 9
  • 一)hive中支持两种类型的分区: 静态分区SP(static partition)动态分区DP(dynamic ...
    明明德撩码阅读 19,957评论 0 2
  • 关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 32,285评论 2 89
  • 最近终于有点时间了,不容易啊, 下次给大家分享点Azkaban怎么调度,脚本里面定制化参数,整个数据的流入,流出,...
    终生学习丶阅读 715评论 2 2

友情链接更多精彩内容