略去大数据分析背景与价值部分,言简意赅的介绍如何进行数据资产管理运营。
数据资产管理运营 = 数据资产盘点 + 数据治理 + 数据价值实现
管理和运营是一个全流程的事情,首先我们需要知道我们有哪些数据(盘点),转化为能够发挥价值的数据资产(治理),再实现数据应用层面的价值(价值实现),也就是最终要能指导业务产出价值。
数据资产盘点
1.数据源
内部源数据(业务数据,管理数据,IT方面的OA数据/系统监控数据)+ 外部数据(第三方数据,互联网爬取的数据)
--------- 经过数据交换 ---------
ODS贴源层 :和源系统保持一致,可能会做一些数据标准化/数据清洗,如果源系统没法改造的话,需要在这一步对数据进行标准化改造,确保到数仓层面是符合标准的。
数仓层面:按主题进行构建(比如产品,客户,机构主题),加工(进行反范式,标准化等 )
一般数仓分为贴源层、标准化层、汇总层、指标层、集市层(关于数据仓库和数据集市在本篇不详细展开介绍)
数据集市:针对具体应用,高并发数据查询,把数仓层面加工完之后的数据导出到数据集市,便于进行小规模的应用
-----(上述结构化数据)+ -----
半结构化数据 (例如 日志文件)
非结构化数据 (例如 音频视频 邮件 (所以要引入 hadoop spark框架))
--------- (构建成了) = --------
大数据平台
2.数据分级分类
在完成了数据梳理,了解数据分布后,同时要明确保密和敏感数据的分布情况。
数据分类:依据数据的来源、内容和用途对数据进行分类。
数据分级:根据已分类的数据资产由业务部门根据数据的价值、敏感程度、影响范围进行敏感分级,将分类的数据资产划分公开、内部、敏感等不同的敏感级别。
3.数据认责
完成数据梳理与分级分类后,针对数据的归属权需要进行确认,有利于之后的权限梳理以及数据治理和运营。
4.数据权限梳理
主要涉及到访问控制以及对于敏感信息的保护,例如身份证号手机号脱敏等等,此处需要结合数据分级分类与数据认责。
数据治理
1.元数据
在表中看到一个数据时,我们仅看到这个数据的值,但是对于这个数据的身份背景从哪里来到哪里去我们都一无所知,所以我们需要元数据。元数据指的是用来描述数据的数据。那我们需要描述哪些方面呢?
业务元数据:是描述数据的业务含义、业务规则等。起码让你知道这一项数据的含义是什么,是通过什么规则运算加工出来的,避免大家各自对数据发挥想象...自说自话。通常包括:业务定义、业务规则、业务指标等。
技术元数据:进行技术定义和描述是为了便于识别数据的存储、传输和交换,常见的技术元数据包括:存储位置、数据模型、字段长度、字段类型、ETL脚本、SQL脚本、接口程序等
管理元数据:描述了数据的管理属性,包括管理部门、管理责任人等。内容主要包括:与元数据管理相关的组织、岗位、职责、流程、项目、版本等。
那有了这些元数据之后我们可以做什么呢?
了解数据来自哪里并经过了哪些加工(血缘分析),数据与其他数据之间的关系(关联度分析),哪些数据是属于企业的常用数据(冷热度分析)等等。
2.数据标准
有了元数据之后,我们还需要制定相应的数据标准,来规范我们对于数据的使用。比如为了支持数据交互,我们需要对格式标准进行定义,为了避免混淆和歧义,需要对数据项名称标准,数据项值的标准进行定义。元数据是数据标准的基础,元数据需要有对应的数据标准。例如业务元数据(增长率),标准应该定义清楚是同比还是环比,例如技术元数据(字段类型),可能每一个数据库制定的表的标准不一样,男女就会出现male/female,1/0...这种情况,则需要我们需要按照一个统一的标准进行定义与输入。
3.数据质量
数据标准则又服务于数据质量,我们进行数据治理的目的也是为了提高数据质量,从而提供更为精准的决策分析数据。数据标准的评价维度示例如下:
一般情况下产生数据质量问题的原因可能是录入错误,需要通过报表核对查出来并进行整改,知道哪些部门的数据质量是怎样的,代码问题 采用了错误的逻辑判断,数据缺失 数据在流转过程中导入导出过程中,由于编码规则不一样导致的数据被丢弃,可以在每个流转环节加入校验机制。
4.主数据
主数据是企业系统间共享性高的数据,跨越各业务部门经常被使用,且相对稳定。常见的主数据有客户、产品、机构人员等。
主数据具备3个主要特征有:
①高价值:主数据是所有业务处理都离不开的实体数据,与大数据相比价值密度非常高。
②高共享:主数据是跨部门、跨系统高度共享的数据。
③相对稳定:与交易数据相比主数据是相对稳定的,变化频率较低。
这些特征同时也反映出来主数据通常存在数据入口众多、重复录入、信息不一致、填写不规范、存在数据孤岛等问题。因为主数据的上述特点,因此管理方式也会有些不同。
通常有3种管理形式:
1.以单独系统进行管理,比如CRM系统就是客户数据的主数据平台,能够保证数据在各个地方交互的时候都是一致的。
2.集中管控 集合客户、产品、等所有主数据,构建主数据平台进行统一维护。方式是通过数据同步机制,将其他各地方比如财务系统的主数据(客户数据)同步到主数据平台。
3.数仓层面 建一个主题 比如客户数据 再同步到源系统 这种方式会比较麻烦。
5.数据安全
数据安全是贯穿数据使用全流程的,尤其在一些数据敏感度高的例如政府、军事、银行等机构,会对数据安全有较高的要求。
数据存储安全:包括物理安全、系统安全存储数据的安全,主要通过安全硬件的采购来保障数据存储安全。
数据传输安全:包括数据的加密和数据网络安全控制,主要通过专业加密软件厂商进行规范设计和安装。
数据使用安全:需要加强从业务系统层面进行控制,规范数据的访问、下载、共享、销毁等过程。
数据价值实现
现在数据已经整整齐齐准备好了,能够通过什么服务实现价值呢?一般可以分为三种。
基础数据服务:查询、多维分析等,以SQL的方式来进行数据获取和指标分析。支持简单的条件查询,数据化运营中的路径分析、漏斗模型等等。
标签画像服务:通过使用标签数据,进行客户画像、精准营销等服务。像是关联分析、RFM模型都是比较常用的模型。
算法模型服务:包括推荐系统、风险控制等,通过将算法模型部署为在线API。这一部分根据行业不同有不同的需求,如投研分析,文本语义分析,交通路线优化等不同场景下的应用。
以上就是关于数据管理的全流程,后续会将其中的单个重要模块展开。