Hive下数据仓库历史拉链表如何加工,分区键该如何选择

1 缓慢变化维

说到历史拉链表,首先得说下缓慢变化维。

在现实世界中,维度的属性并不是静态的,而是随着时间的变化而变化,这也体现了数据仓库的特点之一,是反映历史变化的。相对于数据增长较为快速的事实表,维度的变化是相对缓慢的。

在维度建模理论中,处理缓慢变化维有三种方式:

  • 新的维度属性直接覆盖旧的维度属性,不保留历史数据;

  • 增加新的维度行(需要生成代理键来支持),维度变化前的事实关联变化前的维度值,维度变化后的事实关联变化后的维度值。缺点是无法归一为变化前的维度值或者变化后的维度值进行统计;

  • 增加维度列,即针对维度的某一属性时,在设计表时需要至少包含两列,新属性和旧属性。优点是可以根据业务需求进行不同的归一化处理,缺点是扩展性不好,保留的维度历史数据有限。

2 历史拉链表

而历史拉链存储恰恰是对第二种方式的一种升级,同样是以增加新的维度行来实现,不同的是使用时间键来代替代理键。时间键包含两个字段,开始时间和结束时间,一般以天为粒度保留变更的维度数据。

2.1 查询方式

  • 查询当前最新状态维度数据:select * from table_name where end_day = ‘30001231’

  • 查询某一天的维度状态数据:select * from table_name where start_day <= ‘20200201’ and end_day > '20200201'

2.2 加工方式

假设商品历史拉链表(goods_hist)有如下5个字段:goods_id(商品编号)、price(商品价格)、is_on_sale(商品是否在售)、start_day(开始日期)、end_day(结束日期)

商品最新全量快照表(goods_cur)有如下3个字段:goods_id(商品编号)、price(商品价格)、is_on_sale(商品是否在售),快照日期为20200201

则SQL加工语句为:

WITH hist AS
(
  SELECT goods_id,
         price,
         is_on_sale,
         start_day
  FROM goods_hist
  WHERE end_day = 30001231
),
cur AS
(
  SELECT nvl(goods_id,-1) AS goods_id,
         nvl(price,-1) AS price,
         nvl(is_on_sale,-1) AS is_on_sale
  FROM goods_cur
)
SELECT nvl(cur.goods_id,hist.goods_id) AS goods_id,
       nvl(cur.price,hist.price) AS price,
       nvl(cur.is_on_sale,hist.is_on_sale) AS is_on_sale,
       nvl(hist.start_day,20200201) AS start_day,
       CASE
         WHEN cur.goods_id IS NULL THEN 20200201
         ELSE 30001231
       END AS end_day
FROM cur
  FULL OUTER JOIN hist
               ON cur.goods_id = hist.goods_id
              AND cur.price = hist.price
              AND cur.is_on_sale = hist.is_on_sale

SQL语句输出的结果包括两部分:

  • end_day=30001231的最新状态维度数据

  • end_day=20200201的已失效的维度数据

2.3 分区方式

  • 方式1(使用start_day作为分区键):缺点是查询最新数据无法走分区;查询某一天数据时end_day限制条件无法走分区;加工历史拉链表数据时,end_day=30001231的结果数据不方便入库

  • 方式2(使用end_day作为分区键):缺点是查询某一天数据时start_day限制条件无法走分区;优点是加工历史拉链表数据时,结果数据入库方便,直接insert overwrite覆盖分区30001231和20200201即可

  • 方式3(使用start_day和end_day作为联合分区键,start_day为父分区):查询最新数据时需要改变下SQL语句,不然无法走分区(比如当前日期是20200401,SQL语句需改为select * from table_name where start_day <= ‘20200401’ and end_day > '20200401',即查询某一天数据的写法);缺点是加工历史拉链表数据时,end_day=30001231和end_day=20200201的结果数据都不方便入库;而且分区数会越来越多,一年下来最多可能产生365*364/2=66430个分区;优点是查询数据时start_day和end_day的限制条件都可以走分区

  • 方式4(使用start_day和end_day作为联合分区键,end_day为父分区):缺点同方式3,但加工历史拉链表数据时,结果数据入库相对方便(首先将结果数据存入临时表,然后清空拉链表的分区end_day=30001231和end_day=20200201,最后将临时表数据以insert into方式入库);优点同方式3

综上所述,分区方式可在2和4中选择。

  • 选择方式2,需要考虑随着时间的推移,查询某一天的维度状态数据,消耗的计算资源会越来越多。可考虑删除或者备份部分历史数据至其他地方。

  • 选择方式4,需要考虑随着时间的推移,分区数量会越来越多。可考虑定期重构历史拉链表,比如在每个月月初强制重新开始做历史拉链表(比如在20200401时,先将end_day=30001231的数据修改为end_day=20200401,再基于最新全量快照表生成一份start_day=20200401,end_day=30001231的数据)。

2.4 注意点

设计历史拉链表时,需要移除变化频率高的维度属性,不然生成新拉链的概率会很高,导致无法达到节省存储的目的。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,576评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,515评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,017评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,626评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,625评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,255评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,825评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,729评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,271评论 1 320
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,363评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,498评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,183评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,867评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,338评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,458评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,906评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,507评论 2 359

推荐阅读更多精彩内容