如何看待数据模型在数据管理中的位置?

导读:国际数据管理协会DAMA在DMBOK2中定义了11个数据管理职能领域,数据建模与设计就是其中的一个关键领域。数据模型作为数据建模与设计的核心产出物,势必与其他各个领域都有着千丝万缕的联系。我尝试着将这些关系总结整理成这篇文章,与大家一同分享。

图1DAMA定义的11个数据管理职能领域(DMBOK2, DAMA International)

如上图,在DAMBOK2中,数据管理包含了11个职能领域,这11个领域分别是数据治理、数据架构、数据建模与设计、数据存储与操作、数据安全、数据集成与互操作、文档与内容管理、参考数据与主数据管理、数据仓库与BI、元数据、数据质量。

 各个领域的定义和作用书中已经介绍得很清楚,所以我在这里就不赘述了,下图是我从数据模型出发,总结出的数据模型与各领域产出物之间的关系图:

图1数据建模与数据管理其他各领域的关系(根据DMBOK2输入输出图整理)


各领域之间的这些输入输出关系让数据管理各个领域之间形成了一张关系复杂的网。其中数据模型处于一个关键位置。我将数据模型与各领域的关系总结成了以下9点:

1、数据模型是承载着数据需求的元数据集合

从一定程度上讲,我个人认为数据模型是真正立足于企业数据需求创建出来的元数据集合。其中包括实体名、属性名等丰富的技术元数据,还包括业务规则等业务元数据,主外键等关系是元数据血缘分析主要来源之一。同时,数据模型也为元数据管理提供了元数据标准和元数据质量评分的指标参考。

2、数据模型是数据质量校验的对象,是形成数据质量规则的基础

数据模型为数据质量管理提供关键元数据与业务规则输入,以便针对性地根据企业现状制定数据质量检核标准与数据质量检核规则。同时数据模型本身也需要符合数据质量管理标准,需要通过数据质量管理的检核。

3、数据模型是数据集成与互操作的起点

为了在数据集成时创建一个单一、一致的数据版本,在数据集成时充分分析现有数据模型就显得尤为重要。保证数据模型中关键元素的一致是数据集成时需要首要考虑的问题。

4、数据模型是数据存储和操作的结构保障

数据模型精确标准的定义为数据提供了一个规范的结构,这种比较精确化的结构和约束成为数据存储和操作的一层基本结构保障,减少了数据存储和操作时发生数据异常的可能性。

5、数据模型是数据安全管控的对象

数据模型是数据安全管控的对象之一,数据模型中往往需要根据具体的数据安全需求标注出敏感字段/表,企业也需要参考着数据模型来制定具体的数据安全技术实现需求与业务规则,判断出那些字段可以被哪些人查看,哪些字段需要脱敏等。

6、数据模型通过文档和内容管理实现可复用

在初始数据建模阶段,有效的文档和内容管理可以为数据建模提供以往数据建模过程的详细参考。在建模完成时,数据建模过程中的各种模型设计文档,可以通过文档和内容管理模块实现合理存储,形成企业数据模型记忆库,供未来其他部分数据建模参考,或供数据模型维护阶段参考,实现数据建模的可复用。

7、数据模型是数据仓库和BI的核心

数据模型能为数据仓库建设提供全面的业务梳理和整体的数据视角,通过数据模型,业务人员、开发人员能够很容易在数据仓库需求、范围以及长远建设规划上达成共识,真正形成业务到数据仓库的映射。通过专门为BI数据分析而设计的维度模型,更好地分析立足于数据分析的数据需求。可以说没有数据模型,数据仓库与BI就无从谈起。

8、数据模型为参考数据与主数据提供一致性指导

参考数据与主数据管理是通过管理共享数据,去满足组织目标、减少数据冗余风险、保证更高的数据质量、减少数据集成成本的过程。(DAMA-DMBOK2,DAMA International)。

在全面的MDM环境中,逻辑数据模型将在多个平台中进行物理实例化,逻辑数据模型为主数据管理提供了清晰、一致的数据定义,它指导MDM解决方案的实施,并提供了数据集成服务的基础。

9、数据模型为数据科学与AI提供数据保证

数据科学与AI离不开数据,而数据模型恰恰就是为数据科学与AI后续算法与分析过程提供数据的基本保障。数据模型的建立能够让各个数据管理领域有着力点,从而能够为数据科学家们的业务分析工作提供更准确的数据,让AI算法得出更准确的结果。


总结

可以说,数据模型在数据管理中处于向上承接业务,向下引导数据的关键地位。它是承载着数据需求的元数据、是数据质量校验的对象、是形成数据质量规则的基础、是数据集成与互操作的起点、是数据存储和操作的结构保障、是数据安全管控的对象、是数据仓库和BI的核心、是参考数据与主数据的一致性指导。做好数据模型的管理,企业数据管理将会事半功倍。

参考

[1]DAMA International.DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2017:123.

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 230,578评论 6 544
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 99,701评论 3 429
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 178,691评论 0 383
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 63,974评论 1 318
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 72,694评论 6 413
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 56,026评论 1 329
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 44,015评论 3 450
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 43,193评论 0 290
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 49,719评论 1 336
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 41,442评论 3 360
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 43,668评论 1 374
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 39,151评论 5 365
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 44,846评论 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 35,255评论 0 28
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 36,592评论 1 295
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 52,394评论 3 400
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 48,635评论 2 380

推荐阅读更多精彩内容