2022-07-10

六大类数据模型:元数据、引用数据、主数据、企业结构数据、交易活动数据、交易审计数据,分别指什么?有什么作用?

1、元数据(metadata)

描述数据的数据,对数据及信息资源的描述性信息

大部分属性字段就是元数据。比如,性别,国籍,出生省份等。这个是最接近自然意义的的数据。

(1)在数据仓库领域中,元数据按用途分成:

业务元数据:提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据

技术元数据:支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。

(2)具体来说,在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:

描述哪些数据在数据仓库中;

定义要进入数据仓库中的数据和从数据仓库中产生的数据;

记录根据业务事件发生而随之进行的数据抽取工作时间安排;

记录并检测系统数据一致性的要求和执行情况;

衡量数据质量。

(3)基于应用,可以将元数据分成以下的若干种。

数据结构:数据集的名称、关系、字段、约束等;

数据部署:数据集的物理位置;

数据流:数据集之间的流程依赖关系(非参照依赖),包括数据集到另一个数据集的规则;

质量度量:数据集上可以计算的度量;

度量逻辑关系:数据集度量之间的逻辑运算关系;

ETL过程:过程运行的顺序,并行、串行;

数据集快照:一个时间点上,数据在所有数据集上的分布情况;

星型模式元数据:事实表、维度、属性、层次等;

报表语义层:报表指标的规则、过滤条件物理名称和业务名称的对应;

数据访问日志:哪些数据何时被何人访问;

质量稽核日志:何时、何度量被稽核,其结果;

数据装载日志:哪些数据何时被何人装载

(4)元数据的基本管理

元模型管理

通过可视化的用户体验实现:

a.元模型添加、删除、修改、发布等维护功能;

b.了解已有元模型的分类、统计、使用情况、变更追溯

c.每个元模型的生命周期管理等等。

元数据管理

元数据管理实现针对元数据的基本管理功能。

元数据的添加、删除、修改属性等维护功能;

元数据之间关系的建立、删除和跟踪等关系维护功能;

提供元数据发布流程管理,可以更好地管理和跟踪元数据的整个生命周期;

元数据自身质量核查、元数据查询、元数据统计、元数据使用情况分析、元数据变更、元数据版本和生命周期管理等功能。

元数据分析

元数据分析功能主要实现针对元数据的基本分析功能。包括血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等。

2、引用数据(Reference Data)

元数据的可能取值范围,我们设计表时所说的数据字典往往就是引用数据。比如,性别只能是男和女,男和女就是引用数据;国家的引用数据就是世界上这100多个国家和地区。

3、主数据(Master Data)

主数据(MD Master Data)指系统间的共享数据(例如,客户、供应商、账户和组织部门相关数据)。与记录业务活动,波动较大的交易数据相比,主数据(也称基准数据)变化缓慢。在正规的关系数据模型中,交易记录(例如,订单行项)可通过关键字(例如,订单头或发票编号和产品代码)调出主数据。主数据必须存在并加以正确维护,才能保证交易系统的参照完整性。

从报告或维度建模角度看,主数据指基于其组织或配置指标的维度或层次,而不是实际情况或其自身测量结果。例如,收入、成本和利润是实际情况,而时间、地点、客户和供应商是维度。

在我们数据库设计中最重要的一些实体,是由元数据和引用数据实例的集合。DMReview 专栏作家 Jane Griffin 将主数据定义为“...用于为核心业务实体创建和维护全企业‘记录系统’,以记录业务交易并评定这些实体的业绩所需的信息。


4、企业结构数据(Enterprise structure Data)

企业业务中所需的数据实体,可能是多个主数据的集合。不同行业的结构化数据会有很大不同

5、交易活动数据(Transaction Activity Data)

主数据之间活动产生的数据。比如客户购买产品的交易记录就是交易活动数据,工厂生产产品,生产记录也是交易活动数据。

6、交易审计数据(Transaction Audit Data)这六大类数据。

对数据的所有活动都通过交易审计数据进行记录。比如我们对客户信息修改的操作,对交易的增加和删除操作,这些活动在很多关键系统(比如银行)都需要记录,以合符相应法规的要求(如 Basel II、萨班斯—奥克斯利法案)。


文章来源:https://zhuanlan.zhihu.com/p/36205034

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,444评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,421评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,363评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,460评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,502评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,511评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,280评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,736评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,014评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,190评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,848评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,531评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,159评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,411评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,067评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,078评论 2 352

推荐阅读更多精彩内容

  • 虚拟世界的灵魂觉醒 当历史站在2022年的时间关口,现实世界“物质中心化”的时代希望寻找的那把改造自然的斧头依然存...
    砚_cc07阅读 130评论 0 0
  • 无心插柳柳成荫 有心栽花花满园 …… 今天前胛猪肉16元/市斤 …… 本文的各处均不构成任何投资理财建...
    e0c03ae286fa阅读 79评论 0 1
  • 阅读书籍《心理学与生活》,读书感悟:第一章生活中的心理学。心理学研究可直接应用于日常生活中的重要问题。心理学的研究...
    呼建荣阅读 379评论 0 1
  • DAGNN 摘要 引入 图神经网络在图表示学习邻域取得了较大的成功。 图卷积执行领域聚合,是最重要的图操作之一,然...
    Zomtse阅读 140评论 0 2
  • 【日精进打卡第1978天】 姓名:陈权 公司:青柠养车 【知~学习】 《走美》打卡第432天 《十二条实践》 1、...
    水青柠阅读 76评论 0 0