1.数仓分层概述
数据仓库分为三层，自下而上为：
数据引入层（ODS，Operation Data Store）
数据公共层（CDM，Common Data Model）
数据应用层（ADS，Application Data Service）
- 数据引入层（ODS，Operation Data Store）：将原始数据几乎无处理的存放在数据仓库系统，结构上与源系统基本保持一致，是数据仓库的数据准备区。
- 数据公共层（CDM，Common Data Model，又称通用数据模型层），包含DIM维度表、DWD和 DWS，由ODS层数据加工而成。主要完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。这一层里又包括三层：
1.公共维度层（DIM）：全拼dimension
，基于维度建模理念思想，建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表，维度和维度逻辑表通常一一对应。
2.数仓明细层（DWD）：全拼data warehouse detail
大体作用：ods经过清洗，落地这一层，一般是最细粒度。
具体：以业务过程作为建模驱动，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，也即宽表化处理。明细粒度事实层的表通常也被称为逻辑事实表。
3.数据汇总层（DWS）：全拼data warehouse service
大体作用：对dwd的轻微聚合，对一些可累加的指标进行聚合，增加复用性
具体：以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段物理化模型。构建命名规范、口径一致的统计指标，为上层提供公共指标，建立汇总宽表、明细事实表。公共汇总粒度事实层的表通常也被称为汇总逻辑表，用于存放派生指标数据。 - 数据应用层（ADS，Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成
2.数仓开发规范
2.1 数据库命名
命名规则：数仓对应分层_{业务线|业务项目}
命名示例：ods_nshop/dwd_nshop/dws_nshop/dim_nshop/ads_nshop/
2.2 数仓各层对应数据库
ods/sda层 -> sda/ods_{业务线|业务项目}（原始数据）
dw层 -> dwd_{业务线|业务项目} （主题） + dws_{业务线|业务项目}(基于主题宽表汇总）
dim层 -> dim_维度 （维表库）
ads层 -> ads_{业务线|业务项目} (应用统计指标等)
middle层 -> mid_{业务线|业务项目}（中间库） 临时数据 -> temp_{业务线|业务项目}（临时库）
2.3 数据库表命名规则
- 原始数据层
命名规则：
ods_{业务线|业务项目}_{数据来源类型}_{业务}
ods_{业务线|业务项目}_{数据来源类型}_{业务}_{时间粒度}_delta
delta代表增量，主要用于数据同步方向产生的原始数据表
命名示例：
ods_nshop_01_useractlog XX用户日志原始数据表
ods_nshop_02_user XX用户表(全量)
ods_nshop_02_user_delta XX用户表(增量)
ods_nshop_02_user_hh_delta XX用户表(小时级增量 dd天) - 主题/事实数据层
命名规则：
dwd_{业务线|业务项目}_{主题域}_{子业务}
命名示例：
dwd_nshop_user_logproview XX用户产品浏览日志事实表
dwd_nshop_user_comment XX用户关注事实表 - 主题/事实汇总层
命名规则：
dws_{业务线|业务项目}_{主题域}_{汇总相关粒度}_{汇总时间周期}
命名示例：
dws_nshop_user_order_nd XX用户订单汇总N天统计表
dws_nshop_user_cmtpro_nd XX用户产品关注汇总N天统计表 - 维表层
命名规则：
dim_{业务线|业务项目|pub公共}_{维度}
命名示例：
dim_pub_date 时间维表
dim_pub_area 地区维表
dim_pub_category 商品分类 - 集市层
命名规则：ads_{业务线|业务项目}_{统计业务}_{报表form|热门排序topN}
命名示例：
ads_nshop_order_form 订单统计表 ads_nshop_orderpay_form 订单支付统计 - 数据来源说明
01 -> hdfs数据 ods_nshop.ods_01_action_log 行为日志表
02 -> mysql数据 ods_nshop.ods_02_user 用户表
03 -> redis数据
04 -> mongodb数据
05 -> tidb数据
3.数据来源介绍
3.1 业务数据
业务数据往往产生于事务型过程处理，所以一般存储在关系型数据库中，如mysql、oracle
业务数据源： 用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等
3.2 埋点日志
埋点日志相对业务数据是用于数据分析、挖掘需求，一般以日志形式存储于日志文件中，随后通过采集落地 分布式存储介质中如hdfs、hbase
用户行为日志： 用户浏览、用户点评、用户关注、用户搜索、用户投诉、用户咨询
3.3 外部数据
当前一般公司都会通过线上广告来进行获客，与三方公司合作更多的提取相关数据来进行深度刻画用户及用 户群体，另外爬取公共公开数据也是分析运营的常用方式。
外部数据源： 广告投放数据、爬虫数据、三方接口数据
4.数仓建设
4.1 ODS贴源层
1.ODS层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。
2.ODS层数据主要包括：用户基本信息、商品分类信息、商品信息、店铺信息、 订单数据、订单支付信息、活动信息、行为日志信息
- MySQL业务数据对应Hive表
| 中文含义 | MYSQL表名 | HIVE表名 |
|---|---|---|
| 用户基本信息表 | nshop.customer | ods_nshop.ods_nshop_02_customer |
| 用户关注表 | nshop.customer_attention | ods_nshop.ods_nshop_02_customer_attention |
| 收货地址管理表 | nshop.customer_consignee | ods_nshop.ods_nshop_02_customer_consignee |
| 订单表 | nshop.orders | ods_nshop.ods_nshop_02_orders |
| 订单详情表 | nshop.order_detail | ods_nshop.ods_nshop_02_order_detail |
| 订单支付记录表 | nshop.orders_pay_records | ods_nshop.ods_nshop_02_orders_pay_records |
- 埋点日志对应Hive表
| 中文含义 | HIVE表名 |
|---|---|
| 用户行为日志表 | ods_nshop.ods_nshop_01_useractlog |
电商平台在网页版或APP版终端上进行业务埋点，采集相关用户行为数据发送给服务器进行用户行为分析。
- 外部数据对应Hive表
| 中文含义 | HIVE表名 |
|---|---|
| 广告投放信息表 | ods_nshop.ods_nshop_01_releasedatas |
外部数据来源主要有：
1 企业间的接口调用（如其他企业平台上的广告投放营销）
2 公共数据的爬虫数据（公共数据、友商数据、社区|社交平台公开数据）
4.2 DW主题层
主题划分
在不同的业务中，数仓建设都会涉及到几种类型的数据：通用行为数据、业务强相关的数据、通用行为衍生出的行为数据以及其它不易划分的数据：
1 通用行为数据主题： 即各业务场景都容易出现行为，比如用户行为日志中的曝光、点击和下载等。
2 业务行为数据主题： 主要是指和业务强相关的行为，比如说电商下单业务，视频业务中有播放行为。
3 衍生行为数据主题： 主要是指非用户原始的行为，比如说留存，本身是由用户活跃来描述的。
4 其它行为数据主题： 有一些多主题交叉的数据，比如跨业务和行为的阅读带来的购买行为数据主题
电商项目中所涉及的主题包括：
【用户主题】-> 衍生行为数据主题(更多的)
【交易主题】-> 业务行为数据主题
【营销活动主题】-> 业务行为数据主题
【事件(行为日志)主题】-> 通用行为数据主题主题概述
描述：DW层分为DWD和DWS层，是数据仓库维度建模的核心，需紧绕业 务过程来设计。
示例： 用户产品浏览主题
CREATE external TABLE
IF NOT EXISTS dwd_nshop.dwd_nshop_actlog_product_view (
user_id string COMMENT '用户id',
os string COMMENT '手机系统',
os_version string COMMENT '手机系统版本',
manufacturer string COMMENT '手机制造商',
carrier string COMMENT '电信运营商',
network_type string COMMENT '网络类型',
area_code string COMMENT '地区编码',
target_id string COMMENT '产品ID',
ct BIGINT COMMENT '产生时间'
)
1 数据依赖： ODS层的用户行为日志(ods_nshop.ods_nshop_01_useractlog)
2 哪些维度（包括关联其他主题维度）、度量？
维度：
1 以用户相关的维度【user_id、os、os_version、manufacturer等等】
2 关联相关主题维度【target_id】
3 度量值 聚合操作(sum,count等等)
DWD明细层
1.DWD概述
明细粒度事实层以业务过程作为建模驱动，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理. 明细粒度事实层（DWD）通常分为三种：事务事实表、周期快照事实表和累积快照事实表。
2 DWD中的信息有什么？
事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述：一种是维度属性 组合所表示的细节程度，一种是所表示的具体业务含义。
作为度量业务过程的事实，通常为整型或浮点型的十进制数值，有可加性、半可加性和不可加性三种类型：
(1) 可加性事实是指可以按照与事实表关联的任意维度进行汇总。
示例：交易订单记录表中的【用户ID】可以进行count|distinct count汇总
(2) 半可加性事实只能按照特定维度汇总，不能对所有维度汇总。
示例：库存可以按照地点和商品进行汇总，而按时 间维度把一年中每个月的库存累加则毫无意义。 交易订单记录表中的【时间维度、地区维度】按照这类“自然属性”的维度进行统计，在主题层没有实际意 义，而偏统计报表类计算更多在DM层进行汇总，或者在DWS层往往是以某个主题数据做核心，与其产生关系 的其他主题数据作为度量值来进行统计汇总的。
(3) 完全不可加性。
示例：转化率、比率型等事实。事务事实表
事务事实表用来描述业务过程，跟踪空间或时间上某点的度量事件，保存的是最原子的数据，也称为原子事 实表。
示例：交易订单记录表、广告投放数据表，这类数据本身是一个业务过程。周期快照事实表
周期快照事实表中的每行汇总了发生在某一标准周期， 如一天、 一周或一月的多个度量。 其粒度是周期 性的时间段， 而不是单个事务。周期快照事实表通常包含许多数据的总计， 因为任何与事实表时间范围一 致的记录都会被包含在内。
示例：
一个月|一周的销售订单周期快照， 用于按产品统计每个月总的销售订单金额和产品销售数量累积快照事实表
累积快照事实表用来表述过程开始和结束之间的关键步骤事件，覆盖过程的整个生命周期，通常具有多个日 期字段来记录关键时间点。当累积快照事实表随着生命周期不断变化时，记录也会随着过程的变化而被修 改。
具体实现方式：拉链表DWS汇总层
DWS是基于DWD数据，以其中的主题信息为维度，以其他主题数据为统计度量的数据集合表
示例：
主题为【交易主题】下的订单记录
粒度1：【order_id, order_status,payment_money, order_ctime】是订单业务相关的维度信息
粒度2：【customer_id】用户主题相关，另外与支付主题相关
用户主题的用户启动日志表【DWD】建表示例：
CREATE external TABLE
IF NOT EXISTS dwd_nshop.dwd_nshop_actlog_launch (
user_id string COMMENT '用户id',
device_num string COMMENT '设备号',
device_type string COMMENT '设备类型',
os string COMMENT '手机系统',
os_version string COMMENT '手机系统版本',
manufacturer string COMMENT '手机制造商',
carrier string COMMENT '电信运营商',
network_type string COMMENT '网络类型',
area_code string COMMENT '地区编码',
launch_time_segment string COMMENT '启动时间段',
ct BIGINT COMMENT '产生时间'
) partitioned BY (bdp_day string) stored AS parquet location '/data/nshop/dw/user/dwd_nshop_actlog_launch/'
交易主题域的交易订单明细流水表【DWD】示例：
CREATE external TABLE
IF NOT EXISTS dwd_nshop.dwd_nshop_orders_details (
order_id string COMMENT '订单ID',
order_status INT COMMENT '订单状态：5已收货(完成)|6投诉 7退货',
supplier_code VARCHAR (20) NOT NULL COMMENT '店铺ID',
product_code VARCHAR (20) NOT NULL COMMENT '商品ID',
device_type string COMMENT '设备类型',
os string COMMENT '手机系统',
os_version string COMMENT '手机系统版本',
manufacturer string COMMENT '手机制造商',
carrier string COMMENT '电信运营商',
user_areacode string COMMENT '用户所在地区',
consignee_zipcode string COMMENT '收货人地址',
pay_type string COMMENT '支付类型：线上支付 10 网上银行 11 微信 12 支付宝 | 线下支 付(货到付款) 20 ',
pay_count INT COMMENT '支付次数',
product_price DECIMAL (5, 1) NOT NULL COMMENT '购买商品单价',
weighing_cost DECIMAL (2, 1) NOT NULL COMMENT '商品加权价格',
district_money DECIMAL (4, 1) NOT NULL DEFAULT 0.0 COMMENT '优惠金额',
is_activity NOT NULL DEFAULT 0 COMMENT '1:参加活动|0：没有参加活动',
order_ctime BIGINT COMMENT '创建时间'
) partitioned BY (bdp_day string) stored AS parquet location '/data/nshop/dwd/order/dwd_nshop_orders_details/'
营销活动主题的广告投放数据表【DWD】示例：
CREATE external TABLE
IF NOT EXISTS dwd_nshop.dwd_nshop_releasedatas (
customer_id string COMMENT '用户id',
device_num string COMMENT '设备号',
device_type string COMMENT '设备类型',
os string COMMENT '手机系统',
os_version string COMMENT '手机系统版本',
manufacturer string COMMENT '手机制造商',
area_code string COMMENT '地区编码',
release_sid string COMMENT '投放请求id',
release_ip string COMMENT '投放方ip',
release_session string COMMENT '投放会话id',
release_sources string COMMENT '投放渠道',
release_category string COMMENT '投放浏览产品分类',
release_product string COMMENT '投放浏览产品',
release_product_page string COMMENT '投放浏览产品页',
ct BIGINT COMMENT '创建时间'
) partitioned BY (bdp_day string) stored AS parquet location '/data/nshop/dwd/release/dwd_nshop_releasedatas/'
- DIM维表层
MySQL业务数据对应的Hive表
| 中文含义 | MYSQL表名 | HIVE表名 |
|---|---|---|
| 商品分类表 | nshop.category | dim_nshop.dim_pub_category |
| 店铺表 | nshop.supplier | dim_nshop.dim_pub_supplier |
| 商品表 | nshop.product | dim_nshop.dim_pub_product |
| 页面布局表 | nshop.page_dim | dim_nshop.dim_pub_page |
| 通用字典表 | nshop.comm_dim | dim_nshop.dim_pub_comm |
| 时间字典表 | nshop.date_dim | dim_nshop.dim_pub_date |
| 地区字典表 | nshop.area_dim | dim_nshop.dim_pub_area |
- MID中间层
用户启动统计【MID】建表示例：
CREATE external TABLE
IF NOT EXISTS mid_nshop.mid_nshop_actlog_launch_timesegs (
user_id string COMMENT '用户id',
os string COMMENT '手机系统',
os_version string COMMENT '手机系统版本',
manufacturer string COMMENT '手机制造商',
carrier string COMMENT '电信运营商',
network_type string COMMENT '网络类型',
area_code string COMMENT '地区编码',
launch_times string COMMENT '24bit表示24小时启动情况',
launch_count INT COMMENT '用户每天启动次数',
ct BIGINT COMMENT '产生时间'
) partitioned BY (bdp_day string) stored AS parquet location '/data/nshop/mid/actlog/mid_nshop_actlog_launch_timesegs/'
- ADS应用数据层
总体运营统计的流量类指标_平台统计表【ADS】建表示例：
CREATE external TABLE
IF NOT EXISTS ads_nshop.ads_nshop_platform_flow_stat (
customer_gender TINYINT NOT NULL COMMENT '性别：1男 0女',
age_range VARCHAR (10) NOT NULL COMMENT '年龄段',
customer_natives VARCHAR (10) NULL COMMENT '所在地区',
visit_avg_duration INT COMMENT '人均页面访问时长',
visit_avg_counts INT COMMENT '人均页面访问数'
) partitioned BY (bdp_day string) stored AS parquet location '/data/nshop/ads/operation/ads_nshop_platform_flow_stat/'
5.数仓结构图
数仓运行简图：
数仓具体运行流程图：
