kettle数据抽取:企业信息进专调表(写了很久的SQL)

先说我这个SQL是在干嘛吧,抽取数据,把数据抽取到目标表中,这时候需要修改数据类型,调整数据格式,清洗异常数据类型。我就是在干这个啦

select 
'YWYCYD_' + PollutionsourceCode     PKID,
PollutionsourceCode     ENTERID,
PollutionsourceName     ENTERNAME,
PollutionsourceOldName     HISTORYENTERNAME,
PollutionsourceNick     SHORTNAME,
Province+'000'     CODE_REGION_SHENG,
County+'000'     CODE_REGION_XIAN,
RegionCode+'000'     CODE_REGION,
AttachedRelation     CODE_ENTERRELATION,
Nature     CODE_UNITTYPECODE,
Corporation     CORPNAME,
Telephone     TELEPHONE,
FaxNumber     FAX,
cast(Address  as varchar(255))   ENTERADDRESS,
Postalcode     POSTALCODE,
WebURL     WEBSITE,
case when isdate(SuspensionTime)=1 then cast(SuspensionTime  as  date) else null end STOPTIME,
case when isdate(InvestmentTime)=1 then cast(InvestmentTime  as  date)  else null end CREATETIME,
case 
when PATINDEX('%[^0-9|.|-|+]%', Longitude)=0  AND Longitude NOT LIKE '%.%.%'   
and cast(Longitude as decimal(18,6)) <1000
THEN cast(cast(ROUND(Longitude,6) as float) as  decimal(9,6))
ELSE NULL END LONGITUDE ,
case 
when PATINDEX('%[^0-9|.|-|+]%', Latitude)=0  AND Latitude NOT LIKE '%.%.%' 
and cast(Latitude as decimal(18,6)) <1000
THEN cast(cast(ROUND(Latitude,6)as float) as  decimal(9,6))
ELSE NULL END LATITUDE ,
ProductionState     PRODUCTIONSTATE,
cast(IsCancellation as numeric(10))    ENABLESTATE,
'一厂一档'     DATASOURCE,
GETDATE()  UPDATETIME
from 
DBO.PollutionSourceInfo
1、round()函数

round函数用于把数值字段舍入为指定的小数位数,ROUND(A,B) A 代表是要用到的字段 ,B是保留的小数

ROUND(Longitude,6)
2、GETDATE() 函数

返回当前的时间和日期。我们一般在创建表的时候会用到该函数,我们在查询的时候把函数添加到查询字段中可以显示我们查询时间,keittle在数据抽取时添加该字段可以显示进数据的时间

  • 查询
SELECT PRIMARYPOLLUTANT, CITYNAME, ISO2_24H, IPM10_24H, CITYCODE,getdate() as "time"
FROM YWAIR.getCityAQI_DAY
image.png
3、isdate()函数

isdate()检查列是否为有效的日期,返回类型int(0,1),也就是在判断某列的时候。isdate(字段) = 1为时间类型字段


isdate
4、PATINDEX('%[^0-9]%', 列名) 函数、ISNUMERIC()
image.png
5、字符串的拼接
image.png
6、将float转换为数据类型numeric时出现算术溢出错误

我在数据类型转换为decimal(9,6)时也报数据溢出的问题,数据溢出肯定是因为设置的数据格式不满足数据格式。比如我在数据转换的时候虽然设置了round条件只保留了6为小数,但是可能回存在非小数位的数字大于三位数,这时我们可以设置条件然后在进行数据类型的转化。

cast(Longitude as decimal(18,6)) <1000
7、如何只获取年月日
  • sqlserver很简单,只需要转换一下数据格式就好啦
cast(InvestmentTime  as  date) 
8、cast()、convert()数据类型的转换

CAST()函数和CONVERT()函数语法:

select cast(表达式 as 数据类型) 
select convert(数据类型[(长度)],表达式[,样式])
  • cast 数据类型转换,cast()函数不能执行四舍五入或截断操作
select cast(score as varchar(10)) from student
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,907评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,987评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,298评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,586评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,633评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,488评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,275评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,176评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,619评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,655评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,265评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2 354

推荐阅读更多精彩内容