DataWorks实战3-业务流程开发之约定配置

使用DataWorks开发过程中会存在各类配置,面对如此多的配置,如果不进行规范化的约定,后期业务过程将面临难以维护,参数定义冗乱等问题,在这里我将自己的参数定义、约定呈现给大家。

流程节点约定配置:

1、SQ节点名称与节点输出表名称一定保持一致。(数据全量、增量同步业务流程可以不遵从这条,他们分别DI、RI节点)

2、一张数仓表的一定最终是某一个节点输出的,如果存在多个节点输入到同一张表的情况,请修改模型。(ODS层可不遵循,因为存在全量一次性同步到全量表、增量+全量合并到全量表2种情况,后面再介绍数据集成时候会详细说明)。

调度配置约定配置:

1、业务流程在定时调度时,会根据定时任务时间或业务时间过滤表分区中的数据。实践中,我发现使用定时任务时间更符合使用习惯,建议大家使用定时任务时间,即使用$[]方式,不使用${}方式。

2、为规范命名标准,可以按如下约定配置:

昨天日期约定使用ds、year、month、day表示

ds=$[yyyymmdd-1]  表示昨天对应的年月日

year=$[yyyy-1] 表示昨天对应的年

month=$[mm-1]  表示昨天对应的月

day=$[dd-1] 表示昨天对应的日

上一个小时约定使用ds_1h、year_1h、month_1h、day_1h、hour_1h

ds_1h=$[yyyymmdd-1/24]  表示上一个小时对应的年月日

year_1h=$[yyyy-1/24] 表示上一个小时对应的年

month_1h=$[mm-1/24] 表示上一个小时对应的月

day_1h=$[dd-1/24] 表示上一个小时对应的日

hour_1h=$[hh24-1/24] 表示上一个小时对应的小时

3、为节约开发时间,可以在调度配置-参数配置里 直接拷贝如下一段代码,可以满足大部分按分区时间过滤场景。

ds=$[yyyymmdd-1] year=$[yyyy-1] month=$[mm-1] day=$[dd-1] year_2d=$[yyyy-2] month_2d=$[mm-2] day_2d=$[dd-2] ds_1h=$[yyyymmdd-1/24] year_1h=$[yyyy-1/24] month_1h=$[mm-1/24] day_1h=$[dd-1/24] hour_1h=$[hh24-1/24] ds_2h=$[yyyymmdd-1/24] year_2h=$[yyyy-2/24] month_2h=$[mm-2/24] day_2h=$[dd-2/24] hour_2h=$[hh24-2/24]

可能会有实际开发人员疑惑,为什么分区会定义成year、month、day这样,而不是定义成一个ds,其实这是由于dataworks实时同步mysql-binlog日志时会自动生成maxcompute表,该maxcompute表即是这样定义分区的。最佳实践是只有ods层会如此定义分区字段(严格来说ods不属于数仓),cdm层依然按照ds字段作为分区的日时间字段。

4、ods层数据合并业务流程是定时将(一天或一小时)全量表与增量表数据合并后重写回全量表。在实践中发现,不论是使用DTS还是Dataworks的实时同步功能,将binlog日志同步到增量表时都会存在延迟的情况。如23:59:45秒的日志在第二天00:00:52秒才会入到增量表的昨日分区里。所以进行约定:数据合并业务流程建议在每天/每小时00:05分执行。

5、尽量使用自动解析的依赖配置,且节点的输出名称、节点输出的表名、节点名是一致的。

6、小时任务的业务流程,请配置成"依赖上一周期",依赖项配置成"本节点",可以解决大部分天任务依赖小时任务,小时任务依赖天任务问题。

7、调度资源组请务必选择独享调度资源组。平时可以在运维中心-周期任务运维-周期任务页面按"调度资源组"过滤搜索出找出,并修改重新发布。

数据源约定配置:

配置约定:{数据源类型}_{源系统名}_[只读/读写]

譬如:某个pms系统的数据源mysql-rds则配置为:  rds_pms_ro(只读库)、rds_pms_rw(读写库)

          某个los系统的数据源datahub则配置为:datahub_los



喜欢的朋友请帮忙点赞,谢谢大家!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,809评论 6 513
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,189评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,290评论 0 359
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,399评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,425评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,116评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,710评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,629评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,155评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,261评论 3 339
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,399评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,068评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,758评论 3 332
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,252评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,381评论 1 271
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,747评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,402评论 2 358

推荐阅读更多精彩内容