作为非科班出身的产品，对于数据产品还有很多基础概念还不是很了解，因此最开始，我们先一起来理清概念。

ETL

常说的ETL是个缩写，就是extract-transform-load的缩写，即抽取-转换-加载。该过程会对不同来源（或系统）的大量原始数据进行提取、转换、并且按照一定的格式存储在数据平台的贴原层（ODS）中。

数据来源分为以下三类：

a.业务系统数据库，通常是关系型数据库，类似mysql\sqlserver之类

b.文件数据，例如服务器运行的log或者埋点收集的日志文件

c.购买的第三方数据

其中又以ab两种数据来源最为常见。

数据提取一般会将数据存到缓存区，例如load层，数据下一步的转换操作。

这一步也就是常说的数据清洗。

数据清洗包括下面内容：

1.筛选筛选即去掉没有分析价值的字段，保留有用的数据

2.清理例如缺失值的填充、枚举值的映射、编码转化为可识别符号等。一般来说，原则上不会去改源数据，所以这一步的操作需要谨慎

3.合并将多个属性进行合并

4.格式转换例如，时间戳转为时间格式，增加时区，便于分析；

5.拆分将单属性拆分为多属性，例如详细地址，拆出省、市

6.计算进行简单的计算，例如出生日期计算出年龄

数据清洗一定不能改变源数据的含义，此步的原则就是对尽量保留源数据，尽量满足更多分析需求

数据加载分为全量加载和增量加载。

具体选择哪种方式需要看两点：1.源系统数据更新频次 2.源系统数据量大小

如果更新频次低且数据量小，往往采用全量加载，全量加载的优点是简单，数据基本和源数据一致。但当源数据数据量较大时，就会出现单次加载时间过长的问题，此时就应该开始考虑使用增加加载

至此，ETL的概念进行了简单的梳理，其实在进行深挖还有很多内容，比如具体怎么进行增量抽取等，这些后面慢慢更新~

数据产品常用概念（ETL）