hive动态分区等脚本

最近终于有点时间了,不容易啊, 下次给大家分享点Azkaban怎么调度,脚本里面定制化参数,整个数据的流入,流出,到数据的展示一整套架构, hive的维度建模,设计原理, 包括flink,kylin等, Mllib!!

//将数据按data_date分区动态插入到kpi_company_perform_rate_day表中

set hive.exec.dynamic.partition.mode=nonstrict;

set hive.exec.dynamic.partition=true;

SET hive.exec.max.dynamic.partitions=100000;

SET hive.exec.max.dynamic.partitions.pernode=100000;

insert overwrite table dm.kpi_company_perform_rate_day partition(etl_tx_dt)

SELECT

data_date

,kpi_name

,goal_value

,reach_value

,reach_rate

,from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss')

,cast(regexp_replace(data_date,'-','') as int )  etl_tx_dt

  FROM test.test_kpi_company_perform_rate_day

//查询数据库中所有为null的表

USE information_schema;

SELECT table_schema,table_name,table_rows FROM TABLES WHERE table_rows = 0 ORDER BY table_name ;

;