数据中台
阿里巴巴数据中台: 方法论 + 组织 + 工具
数据中台帮助降本提效 促进业务增长。
生态赋能
基础要求:
1. Dataphin平台使用指南:https://help.aliyun.com/document_detail/110214.html
2. QuickBI使用指南: https://help.aliyun.com/product/30343.html
3. Maxcompute SQL学习:https://help.aliyun.com/document_detail/90441.html
4. Maxcompute开发Java UDF学习:https://help.aliyun.com/document_detail/27811.html
5. 分析型数据库MySQL版设计和使用指南 (AnalyticDB for MySQL):https://help.aliyun.com/document_detail/98724.html
6. DataX使用指南: https://blog.csdn.net/qq_37552993/article/details/80235010
7. 实时计算流处理使用指南:https://help.aliyun.com/product/45029.html
Dataphin简介
Dataphin(智能数据构建与管理)是一款用于大数据平台建设的智能引擎,旨在满足各行各业大数据建设、管理及应用需求。
应用场景
推荐搭配组合:Dataphin + MaxCompute
推荐搭配组合:Dataphin + Quick BI + MaxCompute
基础概念
业务板块
定义数据仓库的名称和业务空间,以企业内一个相对独立的业务为分配单元。例如,如果业务涉及零售、文娱,且系统间相对独立,则需要构建两个业务板块,即零售或文娱。如果业务仅涉及零售,且业务内的系统间隔离较少,则只需要构建一个业务板块,即零售。
公共定义
定义企业构建数据所需的全局概念对象或参数,以保证全局概念统一。当定义完成后,系统内其他指标(例如派生指标)可以按需统一、通用化引用这些对象,例如统计周期。
项目管理
项目是一种物理空间上的划分。项目管理,即用户在数据中台建设过程中,对物理资源及开发人员进行隔离化管理。一个业务板块可以包含多个项目,每个系统成员可以加入多个不同的项目。
物理数据源
存储数据的物理数据库即物理数据源。物理数据源可以作为数据同步传输的上游数据来源,也可以作为数据同步传输的目标数据存储介质。
维度
维度即进行统计的对象。通常情况下,维度是实际存在、不因事件发生就存在的实体。创建维度,即从顶层规范业务中的实体(主数据),并保证实体的唯一性。虚拟维度与某个字段关联后,以维度的形式作为统计粒度,定义派生指标。
业务过程
业务过程即业务活动中的所有事件。创建业务过程,即从顶层规范业务中事务内容的类型及唯一性。
维度逻辑表
维度逻辑表与维度一一对应,是通过丰富维度中的属性信息构建形成的。创建维度逻辑表,即完成公共对象明细数据设计及加工处理,从而便于提取业务中对象的明细数据。
事实逻辑表
事实逻辑表是通过丰富业务过程的属性及度量信息构建形成的。创建事实逻辑表,即完成公共事务明细数据设计及加工处理,从而便于提取业务中事务的明细数据。
业务限定
统计的业务范围,筛选出符合业务规则的记录。
指标
指标可以理解为一个有助于分析的统计数据
指标包括原子指标和派生指标:
原子指标:对指标统计口径(即计算逻辑)、具体算法的一个抽象。例如支付金额。
派生指标:业务中常用的统计指标,派生指标=原子指标+业务限定+统计周期+统计粒度。例如,自然周、会员和采用优惠券支付的订单。简单地理解就是,派生指标是原子指标的一种筛选结果。
统计粒度
统计分析的对象或视角,定义数据需要汇总的程度。例如,维度为时间,则统计粒度为年、季、月、周或日等。