Datax-web 集群化部署使用(图文教程超详细)

环境准备

1)基础软件安装
MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库
JDK (1.8.0_xxx) 必选
DataX 必选
Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下) 必选,主要用于调度执行底层DataX的启动脚本,默认的方式是以Java子进程方式执行DataX,用户可以选择以Python方式来做自定义的改造

2)硬件环境 三台主机
cdh-01
cdh-02
cdh-03

Datax 安装

  1. DataX下载地址
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 

2.解压 & 测试

tar -xvf datax-web-2.1.2.tar.gz

cd datax/bin

python datax.py ../job/job.json
image.png

Datax-web 安装

1.点击下载 提取码:cpsk
2.进入解压目录,执行一键安装脚本

./bin/install.sh

3.全部选 Y ,配置 MySQL 即可


image.png

4.配置
修改./modules/datax-executor/bin/env.properties (修改内容为datax解压目录下的datax.py位置)

### 执行datax的python脚本地址
PYTHON_PATH=/opt/datax/bin/datax.py

5.启动

./bin/start-all.sh

6.访问
http://192.168.10.151:9527/index.html
admin/123456

到此,单机版的datax-web 已经可以正常使用,接下来部署集群。

添加 Executor

新添加的Executor 需要安装datax、datax-web(可以只安装datax-executor)
1.修改 modules/datax-executor/bin/env.properties,指定datax.py 位置

## PYTHON脚本执行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/opt/datax/bin/datax.py

2.修改 /modules/datax-executor/conf/application.yml
指定 datax-web 地址

addresses: http://192.168.10.151:9527
appname:自己指定随意

3.启动

./bin/start.sh -m datax-executor

4.打开web 页面,选择执行器,添加


image.png

5.到此 ,集群式datax-web 已经部署完毕,构建任务时可以选择不同的执行器。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容