数据治理笔记

基本概念

数据(Data)

数据是我们通过观察、实验或计算得出的结果。数据有很多钟,最简单的是数字,数据也可以是文字、图像、声音等。



企业内各类数据大致可分为分析数据、共享数据(主数据)、业务场景数据、交易数据和元数据。

元数据(Metadata)

元数据,又称为中介数据、中继数据,是描述数据的数据。
元数据是描述数据属性(Property)的信息,用来支持如指示存储位置、保持历史数据、资源查找、文件记录等功能。


业内通常将元数据分为以下类型:

  1. 技术元数据:描述数据系统中技术领域相关概念、关系和规则的数据,主要包括对数据结构、数据处理方面的特征描述,覆盖数据源接口、数据仓库、数据集市、ETL、OLAP、数据封装和前端展现等全部数据处理环节。
  2. 业务元数据:描述数据系统中业务领域相关概念、关系和规则的数据,主要包含业务术语、信息分类、指标订阅和业务规则等信息。
  3. 管理元数据:描述数据系统中管理领域相关概念、关系和规则的数据,主要包含人员角色、岗位指责和管理流程等信息。

元数据最重要的特征和功能是为数字化信息资源建立一种机器可理解框架。

元数据的作用

有了元数据,可以做以下工作:

  1. 元数据查看。
    一般是以树形结构组织元数据,按不同类型对元数据进行浏览和检索。如我们可以浏览表的结构、字段信息、数据模型、指标信息等。通过合理的权限分配,元数据查看可以大大提升信息在组织内的共享。
  2. 数据血缘和影响分析
    数据血缘指获取到数据的血缘关系,以历史事实的方式记录数据的来源,处理过程等。
    数据血缘分析对于用户有重要价值,如:当在数据分析中发现问题数据时,可以依赖血缘关系,追根溯源,快速定位到问题数据的来源和加工过程,减少分析的时间和难度。

影响分析则分析数据的下游流向。当系统进行升级改造的时候,可以通过影响分析定位将影响哪些下游系统。血缘分析指向数据的上游来源,影响分析指向数据的下游。

  1. 数据冷热度分析
    冷热度分析主要是对数据表的被使用情况进行统计,展现表的重要性指数。
    通过冷热度分析,我们可以观察到某些数据资源处理长期闲置,没有被任何应用调用。可以作为参考,用于评估是否对这些数据做下线处理,以节省数据存储空间。
  2. 数据资产地图
    数据资产地图一般用于在宏观层面组织信息,以全局视角对信息进行归并、整理,展现数据量、数据变化情况、数据存储情况、整理数据质量等信息,为数据管理部门和决策者提供参考。

主数据(Master data)和静态数据(static data)

主数据指描述某一业务实体对象时,基础数据或者基础属性中被两个及两个以上的业务系统共同使用的部分,通常指相对业务系统或业务场景的共有属性及属性的取值、格式、验证、关系等。主数据不是一种数据,只是数据存在的一种状态,类似大数据需要同时满足几个维度标准时才可以称为大数据。

静态数据指描述某一业务实体对象时,基础数据或基础属性中静态或相对静态的数据的统称,一般包含主数据和业务场景或组织视角的私有数据。通常也可以指除交易数据以外的数据的统称。

静态数据中心(static data center)指包括清洗后的历史数据和新的标准、规范的新增数据,以及描述了这些数据的私有和公有属性、规则、类别、文档、关系、配置信息等全方位的信息集合。


企业数据治理

企业数据治理,指从使用零散数据变为使用统一规范数据,从具有很少或没有组织和流程治理到企业范围内的综合数据治理,从尝试处理数据混乱状况到数据井井有条的一个过程。

数据治理策略

企业数据治理的源、末端模式

目前企业存在三种数据治理模式:

  1. 源端数据治理,指通过解决业务系统源头数据质量问题,实现提高数据分析的准确率。


    源端数据治理支撑数据分析以及业务管理框架
  2. 末端数据治理,指针对解决数据全生命周期末端(数据仓库层)数据质量的问题,实现提高数据分析的准确率。


    企业末端数据治理技术架构
  3. 综合数据质量,指包括源端和末端数据治理的混合模式。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,530评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,403评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,120评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,770评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,758评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,649评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,021评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,675评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,931评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,751评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,410评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,004评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,969评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,042评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,493评论 2 343