2.数据中台-规范化建设-整体方案

《整体方案》


  我们回顾上个章节所阐述的痛点,提炼下来,主要是:数据不统一,数据重复建设,数据定位困难,深入分析原因,可归纳为如下几点:

1.管理上无专门数据组来承载数据资产的维护,常用数据沉淀的职责:各个业务组承担着各自的对外数据开发的职责,他们有权限随意建表和数据流程,无收拢口径;

2.数据定义缺乏规范:数仓里的数据杂乱无章,表和字段命名不规范,指标计算不统一,导致无法得知该数据的属性,用途,所以相同的业务想要使用的时候,只能从最底层创建相同的表,进一步加大了重复表带来的存储和管理成本;

3.缺乏科学的建模规范:缺乏一套科学成熟的方法,来对数仓的数据进行管理,上面说的数据规范化定义的作用是能快速知道表的作用和业务属性,而建模规范指的是整个数仓数据表的流程化建立的标准化;

4.无流程化的研发规范:开发人员在接触需求后,无统一的需求研究,模型设计等环节,大多都是直接上手开发,导致数据流程开发无章法;

  基于以上的原因分析,对问题逐个击破,所形成的核心解决思路为:从 管理组织规范->数据定义规范->数据建模规范->研发流程规范->规范化推进 分步骤有序建立数据规范并落地


下面对这几个模块进行说明:

1.管理组织规范:

   成立一个专门的数据管理组是很有必要的,其职责是将数据统一管理,开发的权限收拢,统一数据的入口和出口,统一进行数据资产的维护,这样可以大大降低数据权限放开过大导致的风险;如何理解数据资产的维护?比如我们的业务指标,数据管理组需要协助业务组按照规范来定义指标, 负责指标的管理与运营,保障指标从创建、审核、上线以及到最后消亡的整个生命周期的运营。

2.数据定义规范:

   主要包括对数据仓库的数据表和数据指标的规范定义。通过制定数据表和数据指标规范,来丰富我们的元数据,并确保指标的清晰定义,作为数据仓库治理过程的最基础的一个环节,合理的数据规范定义非常重要,定义规范后,在进行数据使用时候就能见名知意,加速数据定位速度。

3.数据建模规范:

 我们需要对数仓进行分层管理,并按照业务特点来对主题进行划分,所有数据在横向上属于某个层次的表,在纵向上属于某一个主题的表,明确了数仓中各层和各主题的职责和边界后,构建一致的基础数据核心模型,并基于业务迭代来不断完善和迭代相应的模型和规范。

4.研发流程规范

   对于数据研发项目严格遵循目前的软件研发流程,经过需求调研,模型设计,模型测试,模型发布 这些环节来保证标准化的数据流程的建立,通过企业内部需求管理系统来对需求进行集中管理,并将研发环境与线上环境进行隔离。

5.规范化推进

     在成立了数据管理小组,定义好各种规范后,我们需要去推进这些规范的落地,去存量和控新增 是这个阶段的主要目标:

     去存量的过程,就是将存量数据由乱到治的过程,需要使用上面定义的各种标准对存量数据进行规范化,并且通过方法来保障存量数据标准化后的可持续性;

     控新增阶段,我们需要建立各种自动化手段来定期监测数据的合理性和规范性,确保规章制度的落实。

     通过对痛点的拆解和原因的分析,提出了建设规范化数据的核心思路:从管理组织规范->数据定义规范->数据建模规范->研发流程规范->规范化推进 逐步解决,最终达到规范化数据的目标;在下面的章节中,将针对每个环节进行更细化的展开 ,欢迎大家一起学习。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,033评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,725评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,473评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,846评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,848评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,691评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,053评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,700评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,856评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,430评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,034评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2 343

推荐阅读更多精彩内容