数据仓库系列6-ETL vs ELT

什么是ETL?

ETL 是 Extract、Transform 和 Load 的缩写。在这个过程中,ETL 工具从不同的 RDBMS 源系统中提取数据,然后应用计算、连接等转换数据,然后将数据加载到数据仓库系统中。

ETL 中,数据是从源流向目标。ETL 流程转换引擎负责处理任何数据更改。

什么是ETL

什么是 ELT?

ELT 是查看数据移动工具方法的不同方法。ELT 不是在写入数据之前转换数据,而是让目标系统进行转换。数据首先复制到目标,然后就地转换。

ELT 通常与 Hadoop 集群、数据设备或云安装等非 Sql 数据库一起使用。

什么是 ELT

接下来,我们将了解 ETL 和 ELT 之间的区别。

主要区别

  • ETL 代表提取、转换和加载,而 ELT 代表提取、加载、转换。
  • ETL 首先将数据加载到登台服务器,然后加载到目标系统,而 ELT 将数据直接加载到目标系统。
  • ETL 模型用于本地、关系和结构化数据,而 ELT 用于可扩展的云结构化和非结构化数据源。
  • 比较 ELT 和 ETL,ETL 主要用于少量数据,而 ELT 用于大量数据。
  • 当我们比较 ETL 与 ELT 时,ETL 不提供数据湖支持,而 ELT 提供数据湖支持。
  • 比较 ELT 与 ETL,ETL 易于实施,而 ELT 需要特定技能来实施和维护。

ETL 与 ELT 之间的区别

以下是主要的 ETL 和 ELT 区别:

参数 ETL ELT
过程 数据在登台服务器上转换,然后传输到 Datawarehouse DB。 数据保留在数据仓库的 DB 中。
代码使用 用于
* 计算密集型转换
* 数据量小
用于大量数据
转型 转换在 ETL 服务器/暂存区完成。 在目标系统中执行转换
时间-加载 数据首先加载到登台,然后加载到目标系统。时间密集。 数据只加载到目标系统一次。快点。
时间-转换 ETL 过程需要等待转换完成。随着数据大小的增长,转换时间也会增加。 在 ELT 过程中,速度从不依赖于数据的大小。
时间-维护 它需要高维护,因为您需要选择要加载和转换的数据。 由于数据始终可用,因此维护成本低。
实施复杂性 在早期阶段,更容易实施。 要实施 ELT 流程,组织应该对工具和专业技能有深入的了解。
支持数据仓库 ETL 模型用于本地、关系和结构化数据。 用于支持结构化、非结构化数据源的可扩展云基础架构。
数据湖支持 不支持。 允许将数据湖与非结构化数据一起使用。
复杂 ETL 过程仅加载在设计时确定的重要数据。 此过程涉及从输出向后开发并仅加载相关数据。
成本 中小企业成本高。 使用在线软件即服务平台的低入门成本。
查找 在 ETL 过程中,事实和维度都需要在 staging area 中可用。 所有数据都将可用,因为提取和加载发生在一个单一的操作中。
聚合 复杂性随着数据集中数据量的增加而增加。 目标平台的强大功能可以快速处理大量数据。
计算 覆盖现有列或需要附加数据集并推送到目标平台。 轻松将计算列添加到现有表中。
成熟度 这个过程已经使用了二十多年。它有据可查,最佳实践很容易获得。 相对较新的概念且实施起来较复杂。
硬件 大多数工具都有昂贵的独特硬件要求。 成为 Saas 硬件成本不是问题。
支持非结构化数据 主要支持关系数据 支持随时可用的非结构化数据。

参考guru99

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容