1. Background

在数仓指标中，多维度分析是一种常见的需求。当多个维度不确定具体组合时，需要我们在 hive 层使用 group by cube 或者手动优化 group by 的组合来实现。 Kylin 在离线数仓中主要解决的问题便是在超大规模数据集上的多维度分析，通过预计算并结合 HBase，能做到在亚秒级响应。Kylin 可以简单理解为对接 DWD 层事实表的多维聚合分析工具。

2. Basic

2.1 Kylin 架构

Kylin 架构

从架构图中可以看到，Kylin 除了可以对接 Hive 外，还可以对接实时数据、关系型数据库等。而亚秒级的响应速度除了预计算，还得益于底层的数据存储 HBase。

2.2 Kylin 搭建

首先下载 Kylin 并解压。需要配置三个环境变量，分别是 HADOOP_HOME, HIVE_HOME, HBASE_HOME。Kylin 启动前的依赖分别是 HADOOP(HDFS,Yarn,jobhistoryserver)、Zookeeper、HBase。全部配置好以后通过 WEB 页面访问，初始用户名为 ADMIN、密码是 KYLIN。

WEB 首页

2.3 Kylin 使用

2.3.1 创建 project

创建 project

2.3.2 获取数据源

获取数据源

2.3.3 创建 Model

选择事实表并关联维度表

选择需要统计的维度

确定度量值

指定事实表分区

2.3.4 构建 Cube

创建 cube

选择 model 并指定 cube 名称

添加维度( model 中指定的维度不一定在 Cube 中全部使用)

指定 Cube 中使用的维度

为度量值添加聚合函数

设置度量值的聚合函数

构建 Cube

选择事实表构建 Cube 的分区范围

监控 Cube 构建过程

3. Deep

3.1 维度表多个相同 Key 处理

外键重复错误

• 错误原因
  事实表通过分区字段筛选出的数据和全量的维度表进行 join，事实表中的 key（外键）对应维度表中多个 key 的时候，导致出错。
• 解决方案
  创建维度表的一份最新完整数据作为视图

3.2 每日自动构建 Cube

使用 Restful API 将暴露的接口通过 http 请求的方式写入脚本

3.3 Cube 构建原理

3.3.1 Cube & Cuboid

对于 N 个维度来说，组合的所有可能性共有 2^n 种。对于每一种维度的组合，将度量值做聚合计算，然后将结果保存为一个物化视图，称为 Cuboid。所有维度组合的 Cuboid 作为一个整体，称为 Cube。

3.3.2 Cube 存储结构

维度字典表

Rowkey=Cuboid_id(1表示统计该维度，0表示忽略该维度） + 维度值对应的字典表中的value

3.3.3 构建算法

• 逐层构建
  第一层由原始数据对所有维度进行聚合，剩下所有层基于上一层聚合结果降一维进行聚合
• 快速构建
  利用 Mapper 端计算先完成大部分聚合，再将聚合后的结果交给 Reducer，从而降低对网络瓶颈的压力。该算法的主要思想是，对 Mapper 所分配的数据块，将它计算成一个完整的小 Cube 段（包含所有 Cuboid ）；每个 Mapper 将计算完的 Cube 段输出给 Reducer 做合并，生成大 Cube

3.4 Cube 构建优化

3.4.1 使用聚合组

聚合组是一种 Cuboid 剪枝工具，可以使用以下三种方式进行维度剪枝

• 强制维度
• 层级维度：A->B 作为层级，B不会单独出现。参考省市区层级，不会单独出现区
  
  
  联合维度，AB要么同时出现要么同时不出现

3.4.2 Row Key 优化

• 被用作查询语句中 where 过滤条件的维度放在前面，HBase 查询的时候可以提高效率

  
  
  where 过滤条件的维度放在前面

• 基数大的维度放在基数小的维度前面

  
  
  基数大的维度放在基数小的维度前面