学大数据&数据分析?那数据仓库分层你不得不清楚!

一、数据仓库分几层?每层做什么?
image.png

(1)ODS层(Operation Data Store):原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。
(2)DWD层(Data Warehouse Detail):明细数据层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据)。
(3)DWS层(Data Warehouse Service):服务数据层,以DWD为基础,进行轻度汇总。
(4)ADS层(Application Data Store):数据应用层,为各种统计报表提供数据

二、数据仓库为什么要分层?

(1)把复杂问题简单化
将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单、并且方便定位问题。

(2)减少重复开发
规范数据分层,通过中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。

(3)隔离原始数据
不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开。

三、数据仓库层级关系示例图
image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容