一、名词解释
1. 基础层-ODS(操作型数据存储):主要是未经过加工的原始数据;//与原数据一致,记录事实的数据;
2. 中间层-CDM\EDW(EDW-企业级数据库,CDM-公共维度模型层):经过加工整合的数据层,包含整合好的明细数据和汇总数据
① Dwd-明细整合层:一般从ODS层进来之后,会在DWD层做一个简单的数据清洗加工;
② Dws-高密度汇总层:主题宽表,从DWD层进入到DWS层进行数据汇总;
③ Dim-维度表;
④ Dwb-基础数据层:建立在dwd明细层之前的,相当于ods层进行一些基础简单的加工;
3. 应用层-ADM(应用数据集市):数据应用或数据集市所在的层次
4. 数据域/主题域:数据管理和数据整合的数据抽象集合。数据域相对稳定,主要用于中间层建设。
5. 数据仓库-DW(Data Warehouse)
二、数仓模型

ODS层:ODS层中存放的还是各个分散系统中的数据,ODS层会进行ETL之后会抽取进入到DWD层;
DWD层:相当于把来自不同系统的互数据进行集成,大白话来说需要把来自不同系统中的数据,整合到一张数据表中,但是还是以明细的形式存在;
dim表:维度表,一般维度用字母或者数字表示,需要知道这个数据的含义是什么;
DWS层: 聚合之后的统计值,数仓的目的是为了面向分析,不需要看明细。
ADM层:各业务定制化的数据,面向应用;
三、数据(表)多维模型


四、传统数仓架构

流数据:相当于一个实时的概念,例如这一秒发生的一个订单就实时的流进来了;
块数据:例如,这一秒发生的订单先攒起来,攒一天之后然后把这1天所攒的数据一起同步进来。这是一个离线的过程,不随时间流动,不是实时数据;
ETL:抽取、转换、加载;
实时计算:又称实时数仓;
调度:ETL的过程相当于是写一些脚本,可以理解为写一些SQL,每一个SQL去加工一部分数据;加工数据会有一步一步的顺序链路,这些链路会形成任务进行调度。
监控:数据质量监控;
Meta:元数据,指描述数据的数据。描述字段的含义就叫做元数据。
五、数据链路及服务

六、数仓在数据中台中的作用

以智能客服为例:
(1)业务方提出诉求:客户通过在线客服进行咨询时,是否能判断客户购买意愿强烈的程度;
(2)企业方:接受到诉求之后,因自身没有数据基础能力,于是去找了中台;(企业方首先会进行数据采集,采集到的数据给到数据仓库)
(3)数据仓库结合自身的算法模型进行评级,将智能客服中的评级包装成客户意愿。并根据意愿强度去匹配不同的话术。
//数仓的作用:通过业务方的数据,把数据采集进来,通过自身的算法模型预测评价。