impala

1、impala操作命令
https://blog.csdn.net/oracle8090/article/details/53038090

https://www.cnblogs.com/zlslch/p/6785596.html

2、create table as select 时字段类型的坑
https://blog.csdn.net/littlecarton/article/details/82462408

3、判断如果为null,两个数类型需要相同
https://www.cnblogs.com/jiangshengxiang/p/9263429.html

SELECT IFNULL(NULL,'11'); -> 11
SELECT IFNULL('00','11'); -> 00

4、删除分区并插入数据
alter table xx.xxx drop if exists partition(etl_dt='date_str'); insert into xx.xxx( column_name1 ,column_name2 ,column_name3 )partition (etl_dt) select column_name1 ,column_name2 ,column_name3 ,'date_str'
from yy.yyy
where etl_dt='$date_str';

5、连接多个字段和字符串(concat)
https://www.cnblogs.com/apolloren/p/11002449.html

concat(column_name1,'-',column_name2)

6、insert overwrite语句
insert overwrite xx.xxx(
column_name1
,column_name2
)partition(etl_dt)
select
column_name1
,column_name2
,etl_dt
from yy.yyy
where etl=''
;

7、日期加减几天
date_sub (string startdate, int days)
date_add('2020-09-01',1)

8、Impala日期时间处理:https://blog.csdn.net/weixin_42414714/article/details/107950876

获取当前日期时间,类型为timestamp
select now();
select current_timestamp();

将日期时间转换为日期字符串(string):
select to_date(now());

加减月份(https://blog.csdn.net/u012580143/article/details/101059463):
add_months(now(),-3)

加减天数:
date_add(now,-2)

9、impala获取本月有多少天
select
32-dayofmonth(date_add(now(),+32-dayofmonth(now())))

10、计算两个日期之间的月份(没有直接计算的函数)可以用下面的方法:
(year(date1)-year(date2))*12+(month(date1)-month(date2))

11、某段时间内每月的天数
select
distinct substring(etl_dt,1,7) as mon
,32-dayofmonth(
date_add(
add_months(now(),-((year(now())-year(etl_dt))*12+(month(now())-month(etl_dt))))
,32-dayofmonth(now())
)
) as day_of_this_month
from xx.xxx
where etl_dt>='' and etl_dt<=''
;

12、hive/impala获取当月第一天
trunc('2018-09-28','MM') -- 获取当月第一天
last_day('2018-09-28') -- 获取当月最后一天

13、获取前一天日期
select date_sub(FROM_UNIXTIME(UNIX_TIMESTAMP()),1)

14、impala没有write权限插入数据到hive表:impala does not have write access to at least on HDFS path hdfs://...

https://blog.csdn.net/lukabruce/article/details/84070025

15、impala分区表用insert into...select插入数据
https://blog.csdn.net/xiaoxiaojavacsdn/article/details/89515526

双字段分区,动态插入:
insert into ta partition(year,month) select * from tb

16、Impala 卸载数据语句
impala-shell -i x.x.x.x:xx -q "select * from xx.xx" -B --output_delimiter="\001" --print_header -o /home/etluser/data/xx.xx.dat

17、Impala 实现在指定位置添加列
https://blog.csdn.net/zy103118/article/details/103010632

18、ALTER TABLE向现有表中添加列的基本语法如下
ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...])

19、Impala-shell 导入导出数据
https://www.cnblogs.com/zhangyl-/p/13121492.html

20、# SQL语句 按年龄段分组统计人数问题
select nnd as '年龄段',count(*) as '人数',sex as '性别' from
(
select
case
when age>=1 and age<=10 then '1-10'
when age>=11 and age<=20 then '11-20'
when age>=21 and age<=30 then '21-30'
when age>=31 and age<=40 then '31-40' else 'other'
end
as nnd,uname,sex from #t
)
a
group by nnd,sex

21、trunc()
trunc('2021-07-07','dd') 当天日期
trunc('2021-07-07','day') 当前周周一的日期
trunc('2021-07-07','month') 当月的第一天日期
trunc('2021-07-07','mm') 当月的第一天日期

22、WARNINGS: Row of size 3.88 MB could not be materialized in plan node with id 2. Increase the max_row_size query option (currently 512.00 KB) to process larger rows.
https://blog.csdn.net/wuxintdrh/article/details/112554737

在impala-shell命令行执行
set max_row_size=5m

23、按行交叉对比
select
t1.extractcashbillid
,t2.extractcashbillid
,t1.s1
,t2.s2
,t1.start_dt
,t1.end_dt
,t2.start_dt
,t2.end_dt
,t1.year_month
,t2.year_mont
from (
select
row_number() over(partition by extractcashbillid order by start_dt desc) as s1
,start_dt
,end_dt
,year_month
,extractcashbillid
from xx.yyy1
) t1
join (
select
row_number() over(partition by extractcashbillid order by start_dt desc) as s1
,start_dt
,end_dt
,year_month
,extractcashbillid
from xx.yyy1
) t2
on t1.extractcashbillid =t2.extractcashbillid
and t1.year_month=t2.year_month
and t1.s1=t2.s2-1
and t1.start_dt<>t2.end_dt

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 230,791评论 6 545
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 99,795评论 3 429
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 178,943评论 0 384
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 64,057评论 1 318
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 72,773评论 6 414
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 56,106评论 1 330
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 44,082评论 3 450
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 43,282评论 0 291
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 49,793评论 1 338
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 41,507评论 3 361
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 43,741评论 1 375
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 39,220评论 5 365
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 44,929评论 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 35,325评论 0 28
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 36,661评论 1 296
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 52,482评论 3 400
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 48,702评论 2 380

推荐阅读更多精彩内容