用户行为数仓搭建

# 数仓分层概念

1.数仓分层

ods

存放原始数据

dwd

数据清洗

dws

数据汇总

ads

为统计报表提供数据

2.分层优点

复杂问题简单化

减少重复开发

隔离原始数据

3.数仓命名规范

层表前缀ods,dwd,dws,ads

维度表前缀dim

全量表df

增量表di

# 数仓分层配置

1.建立业务流程

2.新建主题

3.层级管理

# 原始数据层ods

1.建表语句

2.配置基本属性

3.配置物理模型

# datahub推送数据到maxcompute

1.创建dataconnector

2.发送数据

3.接收数据

# dwd层日志格式分析

1.日志格式分析

2.自定义udtf

3.dwd层建表

4.手动导入dwd层

5.数据导入脚本

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容