穿越数据的迷宫,数据管理执行指南


穿越数据的迷宫

背景:

本书作为DAMA的伴侣,力图通过简单精要的语言描述DAMA数据管理体系,为数据从业人员提供案边手册,本文再度进行精炼,力图通过一文为不懂数据管理的人员了解数据管理概念,以作为DAMA体系解析的开篇。接下来的拆书,我将不按照原本的逻辑,而是透过问题看本质,按照数据知识体系的逻辑进行讲解。对于内容有疑问,欢迎积极留言讨论。

一家企业是以意识到数据的重要性 为战略规划起点的,我们叫做数据意识觉醒,所以数据管理的前提是公司决策高层的坚定支持和理解。数据管理(DM)和数据治理(DG)的概念在大部分情况下都模糊不清,DAMA体系里数据管理是大于数据治理的,数据治理只是数据管理的一个行为子集。

问题导向:

如果公司高层有了数据意识觉醒,交给你一个数据管理或者数据治理的任务,我们应该怎么做?

首先需要了解数据管理的概念,数据的特性决定了做数据管理是一个系统工程,需要有科学的方法论体系,建议你参考DAMA;其次需要评估组织数据管理的现状,参照数据管理成熟度模型进行;然后基于评估结果制定PDCA计划;最后需要启动组织变更,目的是支撑数据管理实施的路线图。

如何评估数据管理水平:

数据管理成熟度模型定义了5个层级:

数据管理成熟度模型

等级一:初始级。组织没有意识到数据的重要性,数据需求的管理主要是在项目级来体现,没有统一的数据管理流程,存在大量的数据孤岛,经常由于数据的问题导致低下的客户服务质量、繁重的人工维护工作等。

等级二:受管理级。组织已经意识到数据是资产,根据管理策略的要求制定了管理流程,指定了相关人员进行初步的管理,并且识别了与数据管理、应用相关的干系人。

等级三:稳健级。数据已经被当作实现组织绩效目标的重要资产,在组织层面制定了系列的标准化管理流程以促进数据管理的规范化,数据的管理者可以快速地满足跨多个业务系统、准确、一致的数据要求,有详细的数据需求响应处理规范、流程。

等级四:量化管理级。数据被认为是获取竞争优势的重要资源,组织认识到数据在流程优化、工作效率提升等方面的作用,针对数据管理方面的流程进行全面的优化,针对数据管理的岗位进行关键绩效指标(key performance indicator,KPI)的考核,规范和加强数据相关的管理工作,并且根据过程的监控和分析对整体的数据管理制度和流程进行优化。

等级五:优化级。数据被认为是组织生存的基础,相关管理流程能够实时优化,能够在行业内进行最佳实践的分享。

如何做数据管理?

本书的重点是介绍数据管理的概念,后面我们将各个章节融合到DAMA数据体系去讲解,你将可以参考DAMA去深入数据管理。

数据无处不在,是企业的资产;数据是一种有价值的资产,但也隐含着风险。低质量的数据带来损耗,高质量的数据带来收益。,但需要将技术管理和数据管理分开。数据管理的挑战首先是由数据资产的特性决定的,数据资产不可触摸、持久的、不会被消耗,但在使用的时候有被盗的风险;容易被拷贝和迁移,但是如果丢失或被破坏,将不可再生;数据是动态的,可以在同一时刻被多人使用。以上特性造成数据管理的难度:(1)难以盘点组织有多少数据资产;(2)很难定义数据的所有权和责任;(3)很难防止滥用数据;(4)数据风险管理很难;(5)很难定义和执行统一的数据质量标准;

数据管理需要站在企业全局的视角去规划、协同和技术实现,数据管理的核心是管理数据的生命周期,专注于数据的产生、迁移和维护的全过程,数据有不同的分类规则,不同类型的数据又会有不同的生命周期需求,但也有共性的规则如下:(1)在数据生命周期中,数据的产生和使用是最主要的关键点;(2)数据质量管理必须贯穿数据生命周期的全过程;(3)元数据管理必须贯穿数据生命周期全过程;(4)数据安全管理必须贯穿数据生命周期全过程;(5)数据管理应该专注于最关键的数据;

DAMA数据管理的原则如下:

DAMA数据管理原则

数据管理的11大知识领域:

DAMA数据管理包括11个知识领域和3大主题域,全景视图如下:


数据管理全局视图

数据管理11个知识域如下:

数据治理:依据组织的整体需求,通过建立数据决策的权限和责任,为数据管理活动和职能提供整体的指导和监督;

数据架构:基于组织的战略目标,建立符合战略需求的数据架构;

数据建模和设计:探索、分析、表示和沟通数据需求的一个过程,最后输出数据模型;

数据存储和操作:包括数据存储的设计、实施和支持,目的是达到利益最大化;该活动贯穿数据的整个生命周期——从数据规划到数据消除;

数据安全:确保数据隐私和安全;

数据整合与互操作性(翻译错误,应该为集成与交换):包括存在于不同数据系统、应用程序和组织之内,以及组织之间的数据迁移和集成等;

文档和内容管理:通过PDCA活动,来管理那些存储于非结构化介质中的数据和它们的生命周期,甚至是那些与法律及合规性相关的文件的管理;

参考数据(翻译错误,应该为字典数据)和主数据管理:对核心关键共享数据的持续更新和维护,以便得到最准确、及时并和基础业务相关的数据;

数据仓库和商务智能:通过PDCA活动,为管理决策提供数据量化的支持,使相关工作人员能够通过数据分析和数据报告获取价值;

元数据管理:通过PDCA活动,支持访问高质量的元数据集,包括定义、模型、数据流和其他对理解数据及其创建、维护和访问至关重要的信息;

数据质量管理:包括规划和实施质量管理技术,以衡量、评估和改善组织使用的数据;

数据管理的三大核心领域:

DAMA数据管理的三大核心领域:数据治理、数据生命周期管理、数据的基础活动;

数据治理活动:

数据治理需要EMT领导层的承诺和投入,是一项持续性的工作,贯穿整个数据管理的生命周期,通过阐明战略、建立框架、制定方针及实现数据共享,为其他数据管理职能提供指导和监督;数据治理是实现业务目标的一种手段,本身不是目的;通过将获得和行为与数据管理原则相结合,来支持组织的业务战略,应对数据管理的挑战。

一个成功的数据治理项目将:1.建立符合并支持业务战略的数据治理战略;2.基于数据管理原则,制定和执行相关行动计划;3.设置数据质量标准;4.提供关键数据的管理;5.确保组织遵守和数据相关的法规;6.管理那些与数据和治理的各方面相关的问题。

数据的生命周期管理:

规划与设计:

企业数据架构描述如何组织和管理数据,由数据架构师、建模师和数据管理专员负责,负责管理业务架构创建和要求的数据,包括数据模型、数据定义、数据映射规范、数据流、结构化数据API;

数据架构的核心是数据模型(数据结构和数据规范)和数据流设计。数据建模是发现、分析和界定数据需求的过程,然后以数据模型的文档准确表示和传递这些数据需求:

目标:描述结构、范围定义,然后进行文档化;

如何做:5w1h描述实体,描述实体关系,定义属性,定义值域;

数据操作与维护:


DW/BI和大数据概念架构

(1)数据存储与操作:DBA确保数据引擎正常运行;

(2)数据集成与交换;

(3)数据仓库:

数据仓库建设理论有2个核心流派,而在实际假设过程中需要选择性予以参考和综合,无需完全参考理论。

Bill Inmon:面向主题的、集成的、反映历史变化的、相对稳定的数据集和,以支持管理层的决策过程。

Bill Inmon理论

Ralph Kimball:专门为查询和分析构建的交易数据的副本。


Kimball理论

(4)字典管理;

(5)主数据管理:

主数据管理是一个全数据生命周期的过程,不仅在MDM系统中管理,还必须可供其他系统和流程使用,依靠能够共享和反馈数据的技术,还需要可备份。主数据管理的核心业务逻辑:1.确定主数据源;2.建立精确匹配和合并实体实例的规则;3.建立识别和恢复不恰当适配与合并数据的方法;4.建立向整个企业系统分发可信数据的方法;

(6)文档与内容管理;

(7)大数据存储;

数据使用和数据科学:

(1)主数据的使用;

(2)商务智能;

(3)数据科学:是指开发预测模型的过程,数据分析师使用科学的方法(观察、假设、实验、分析和给出结论)来开发和评估分析模型或预测模型;

(4)预测性分析;

(5)数据可视化;

(6)数据货币化;

数据管理的基础活动:

数据保护、隐私、安全和风险管理;

元数据管理:管理“数据的数据”,是数据管理的基础;

数据质量管理:

规范的数据质量管理主要包括:

(1)通过数据质量DQ标准、规则和需求来定义高质量的数据;

(2)对照已制定的相关标准评估数据,并向利益相关方通报评估结果;

(3)对应用中的数据和数据存储进行监控和报告;

(4)识别问题并提出改进意见。

数据质量提升周期:PDCA;数据质量的保障需要坚定的领导层;

收获:

通过本文,你将了解如果你的企业需要做数据管理或数据治理,你应该从熟悉DAMA体系开始,获取公司高层的坚定支持,通过指导合理评估数据管理现状,基于评估制定改进计划,从方法论落地到实际数据管理。本文讲解了数据管理的11大知识领域和3大核心业务领域,以最简的内容快速解析数据管理核心内容,从全局上为数据管理 以及 数据治理 进行导航。针对原书中的翻译的不妥之处进行了改进,如有疑问,欢迎留言讨论。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容