什么是ETL?
ETL 是 Extract、Transform 和 Load 的缩写。在这个过程中,ETL 工具从不同的 RDBMS 源系统中提取数据,然后应用计算、连接等转换数据,然后将数据加载到数据仓库系统中。
在ETL 中,数据是从源流向目标。ETL 流程转换引擎负责处理任何数据更改。
什么是ETL
什么是 ELT?
ELT 是查看数据移动工具方法的不同方法。ELT 不是在写入数据之前转换数据,而是让目标系统进行转换。数据首先复制到目标,然后就地转换。
ELT 通常与 Hadoop 集群、数据设备或云安装等非 Sql 数据库一起使用。
什么是 ELT
接下来,我们将了解 ETL 和 ELT 之间的区别。
主要区别
- ETL 代表提取、转换和加载,而 ELT 代表提取、加载、转换。
- ETL 首先将数据加载到登台服务器,然后加载到目标系统,而 ELT 将数据直接加载到目标系统。
- ETL 模型用于本地、关系和结构化数据,而 ELT 用于可扩展的云结构化和非结构化数据源。
- 比较 ELT 和 ETL,ETL 主要用于少量数据,而 ELT 用于大量数据。
- 当我们比较 ETL 与 ELT 时,ETL 不提供数据湖支持,而 ELT 提供数据湖支持。
- 比较 ELT 与 ETL,ETL 易于实施,而 ELT 需要特定技能来实施和维护。
ETL 与 ELT 之间的区别
以下是主要的 ETL 和 ELT 区别:
参数 | ETL | ELT |
---|---|---|
过程 | 数据在登台服务器上转换,然后传输到 Datawarehouse DB。 | 数据保留在数据仓库的 DB 中。 |
代码使用 | 用于 * 计算密集型转换 * 数据量小 |
用于大量数据 |
转型 | 转换在 ETL 服务器/暂存区完成。 | 在目标系统中执行转换 |
时间-加载 | 数据首先加载到登台,然后加载到目标系统。时间密集。 | 数据只加载到目标系统一次。快点。 |
时间-转换 | ETL 过程需要等待转换完成。随着数据大小的增长,转换时间也会增加。 | 在 ELT 过程中,速度从不依赖于数据的大小。 |
时间-维护 | 它需要高维护,因为您需要选择要加载和转换的数据。 | 由于数据始终可用,因此维护成本低。 |
实施复杂性 | 在早期阶段,更容易实施。 | 要实施 ELT 流程,组织应该对工具和专业技能有深入的了解。 |
支持数据仓库 | ETL 模型用于本地、关系和结构化数据。 | 用于支持结构化、非结构化数据源的可扩展云基础架构。 |
数据湖支持 | 不支持。 | 允许将数据湖与非结构化数据一起使用。 |
复杂 | ETL 过程仅加载在设计时确定的重要数据。 | 此过程涉及从输出向后开发并仅加载相关数据。 |
成本 | 中小企业成本高。 | 使用在线软件即服务平台的低入门成本。 |
查找 | 在 ETL 过程中,事实和维度都需要在 staging area 中可用。 | 所有数据都将可用,因为提取和加载发生在一个单一的操作中。 |
聚合 | 复杂性随着数据集中数据量的增加而增加。 | 目标平台的强大功能可以快速处理大量数据。 |
计算 | 覆盖现有列或需要附加数据集并推送到目标平台。 | 轻松将计算列添加到现有表中。 |
成熟度 | 这个过程已经使用了二十多年。它有据可查,最佳实践很容易获得。 | 相对较新的概念且实施起来较复杂。 |
硬件 | 大多数工具都有昂贵的独特硬件要求。 | 成为 Saas 硬件成本不是问题。 |
支持非结构化数据 | 主要支持关系数据 | 支持随时可用的非结构化数据。 |
参考guru99