hive基本操作之二

1.查找数据到本地

       insert overwrite local directory '/home/mydir/mydir' select ....

2.增加动态分区

      set hive.exec.hynamic.partition=true;   -- 开启动态分区

      set hive.exec.dynamic.partition.mode=nonstrict;  -- 设置为非严格模式

       注:这个属性默认是strict,即限制模式,strict是避免全分区字段是动态的,必须至少一个分区字段是指定有值即静态的,且必须放在最前面。设置为nonstrict之后所有的分区都可以是动态的了。

       set hive.exec.max.dynamic.partitions.pernode=10000;   --默认100,这个属性表示每个节点生成动态分区的最大个数

        set hive.exec.max.dynamic.partitions=100000;    --这个属性表示一个DML操作可以创建的最大动态分区数,默认是1000

      set hive.exec.max.created.files=150000 ;    -- 这个属性表示一个DML操作可以创建的最大文件数,默认是10000

3.explain查看hql执行的stage分布与抽象语法树

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容