无论结构化数据,还是非结构化数据,或者外部数据,最终都会通过元数据治理落地。华为将元数据治理贯穿整个数据价值流,覆盖从数据产生、汇聚、加工到消费的全生命周期。
在进行元数据治理以前,遇到的元数据问题主要表现为数据找不到、读不懂、不可信。
制定了统一的元数据管理方法、机制和平台,拉通业务语言和机器语言。确保数据“入湖有依据,出湖可检索”成为华为元数据管理的使命与目标。基于高质量的元数据,通过数据地图就能在企业内部实现方便的数据搜索。
元数据通常分为业务、技术和操作三类。
业务元数据:用户访问数据时了解业务含义的途径,包括资产目录、Owner、数据密级等。
技术元数据:实施人员开发系统时使用的数据,包括物理模型的表与字段、ETL规则、集成关系等。
操作元数据:数据处理日志及运营情况数据,包括调度频度、访问记录等。
在企业的数字化运营中,元数据作用于整个价值流,在从数据源到数据消费的五个环节中都能充分体现元数据管理的价值。
数据消费侧:元数据能支持企业指标、报表的动态构建。
数据服务侧:元数据支持数据服务的统一管理和运营,并实现利用元数据驱动IT敏捷开发。
数据主题侧:元数据统一管理分析模型,敏捷响应井喷式增长的数据分析需求,支持数据增值、数据变现。
数据湖侧:元数据能实现暗数据的透明化,增强数据活性,并能解决数据治理与IT落地脱节的问题。
数据源侧:元数据支撑业务管理规则有效落地,保障数据内容合格、合规。
元数据管理架构及策略
元数据管理架构包括产生元数据、采集元数据、注册元数据和运维元数据。
元数据管理方案:通过制定元数据标准、规范、平台与管控机制,建立企业级元数据管理体系,并推动其在公司各领域落地,支撑数据底座建设与数字化运营。
产生元数据:制定元数据管理相关流程与规范的落地方案,在IT产品开发过程中实现业务元数据与技术元数据的连接。
采集元数据:通过统一的元模型从各类IT系统中自动采集元数据。
注册元数据:基于增量与存量两种场景,制定元数据注册方法,完成底座元数据注册工作。
运维元数据:打造公司元数据中心,管理元数据产生、采集、注册的全过程,实现元数据运维。
元数据管理方案:通过制定元数据标准、规范、平台与管控机制,建立企业级元数据管理体系,并推动其在公司各领域落地,支撑数据底座建设与数字化运营。