1 什么是拉链表

拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。

2 拉链表的使用场景

在数据仓库的模型设计中，经常会遇到以下数据存储方式：

• 方案一：每天只保留最新的数据
  优点：实现简单，节省空间
  缺点：无法追溯数据的历史状态
• 方案二：每天保留一份全量的切片数据
  优点：能够保留数据的历史状态，实现简单
  缺点：存储空间占用太大，未变更的数据每天被重复存储。结合数据需求做出取舍后，可以将生命周期设置为30天、90天 等
• 方案三：使用拉链表
  优点：既保留了数据的历史状态，又规避了数据的重复存储
  缺点：开发/使用 成本略高，大量记录频繁变更会导致存储压缩效果降低

3 如何实现拉链表

确定粒度

一般天粒度的拉链表已经能解决大部分的问题了，即拉链表每天只去一个状态，也就是说如果一天状态变更了3次，只取最后一个状态。
如果拉链表中存储最明细的变更记录，拉链表将退化为流水表。

模型结构设计

每天记录需要新增3个字段，用于标注记录的有效状态：

• start_date：表示该条记录的生命周期开始日期
• end_date：表示该条记录的生命周期结束日期

如果查询2021-01-01的历史快照：

select * from user 
where start_date <='2021-01-01'
and end_date >= '2021-01-01'

数据写入

• 数据初始化
  需要ods层的全量表，完成初始化工作
• 增量更新
  最新变更数据 left join 前一天数据 ，更新前一天数据的end_date
  union all
  最新变更数据

查询优化

• 不分区
  数据量大的时候，查询效率低
• 按start_date 和 end_date分区
  partitioned by (start_date string, end_date string)
  极限情况一年会有365*365/2=66612个分区，过多的分区会给NameNode带来压力，而且容易引起小文件问题
• 按月分区
  每月2日把上一月还未失效的数据归并到1日的分区中，并且把生效日期置为1日。在上一月分区中失效日期置为上月最后一天。

备注：如果某个日期同步的数据出现问题需要重跑数据，则需要重跑从出问题的日期到当前日期的每一天数据