什么是etl-engine
我们不仅仅是数据的搬运工,还是数据搬运过程中加工处理的工厂。
我们不仅仅适用关系型数据库中,还适配当下流行的时序数据库、消息中间件中。
- 产品由etl-engine引擎和etl-designer云端设计器及crontab调度组成,
- etl-engine引擎负责解析etl配置文件并执行etl任务,
- etl-designer云端设计器通过拖拉拽的方式生成etl-engine引擎可识别的etl任务配置文件,
- crontab调度设计器负责按时间周期执行指定的etl任务,crontab调度还提供了查询etl任务执行日志功能,
- 三部分组成了etl解决方案,可集成到任意使用场景。
如何使用
run_graph(etl-engine)
1. 使用手册
```shell
github.com/hw2499/etl-engine
```
2. 命令行执行样本
```shell
run_graph -fileUrl <配置文件> -logLevel trace
```
run_crontab(集成etl-designer和etl-crontab)
1. 使用手册
```shell
github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6
```
2. 命令行执行样本
```shell
run_crontab -fileUrl <配置文件>
```
如何下载
选择最版本使用
```shell
github.com/hw2499/etl-engine/releases
```