【数据仓库】数仓模型及架构

一、名词解释

1. 基础层-ODS(操作型数据存储):主要是未经过加工的原始数据;//与原数据一致,记录事实的数据;

2. 中间层-CDM\EDW(EDW-企业级数据库,CDM-公共维度模型层):经过加工整合的数据层,包含整合好的明细数据和汇总数据

① Dwd-明细整合层:一般从ODS层进来之后,会在DWD层做一个简单的数据清洗加工;

② Dws-高密度汇总层:主题宽表,从DWD层进入到DWS层进行数据汇总;

③ Dim-维度表;

④ Dwb-基础数据层:建立在dwd明细层之前的,相当于ods层进行一些基础简单的加工;

3. 应用层-ADM(应用数据集市):数据应用或数据集市所在的层次

4. 数据域/主题域:数据管理和数据整合的数据抽象集合。数据域相对稳定,主要用于中间层建设。

5. 数据仓库-DW(Data Warehouse)


二、数仓模型


数仓模型

ODS层:ODS层中存放的还是各个分散系统中的数据,ODS层会进行ETL之后会抽取进入到DWD层;

DWD层:相当于把来自不同系统的互数据进行集成,大白话来说需要把来自不同系统中的数据,整合到一张数据表中,但是还是以明细的形式存在;

dim表:维度表,一般维度用字母或者数字表示,需要知道这个数据的含义是什么;

DWS层: 聚合之后的统计值,数仓的目的是为了面向分析,不需要看明细。

ADM层:各业务定制化的数据,面向应用;


三、数据(表)多维模型

星型模型&雪花模型



案例示意


四、传统数仓架构


传统数仓架构图

流数据:相当于一个实时的概念,例如这一秒发生的一个订单就实时的流进来了;

块数据:例如,这一秒发生的订单先攒起来,攒一天之后然后把这1天所攒的数据一起同步进来。这是一个离线的过程,不随时间流动,不是实时数据;

ETL:抽取、转换、加载;

实时计算:又称实时数仓;

调度:ETL的过程相当于是写一些脚本,可以理解为写一些SQL,每一个SQL去加工一部分数据;加工数据会有一步一步的顺序链路,这些链路会形成任务进行调度。

监控:数据质量监控;

Meta:元数据,指描述数据的数据。描述字段的含义就叫做元数据。


五、数据链路及服务


数据链路及服务


六、数仓在数据中台中的作用


以智能客服为例:

(1)业务方提出诉求:客户通过在线客服进行咨询时,是否能判断客户购买意愿强烈的程度;

(2)企业方:接受到诉求之后,因自身没有数据基础能力,于是去找了中台;(企业方首先会进行数据采集,采集到的数据给到数据仓库)

(3)数据仓库结合自身的算法模型进行评级,将智能客服中的评级包装成客户意愿。并根据意愿强度去匹配不同的话术。

//数仓的作用:通过业务方的数据,把数据采集进来,通过自身的算法模型预测评价。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容