DataX-web安装使用教程

1. 环境准备

• MySQL (5.5+)  必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库
• JDK (1.8.0_xxx)  必选
• Python (2.x) 必选 (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下) ，主要用于调度执行底层DataX的启动脚本，默认的方式是以Java子进程方式执行DataX，用户可以选择以Python方式来做自定义的改造

2.DataX安装

2.1 下载DataX安装包

DataX详情介绍：https://github.com/alibaba/DataX/blob/master/introduction.md

DataX官网下载地址：https://github.com/alibaba/DataX

网盘地址链接:https://pan.baidu.com/s/1qxCi1k36mbHWfuxfMpTfxg 提取码: 1234

2.2 安装DataX

上传后进行解压并检测安装是否成功

# 下载上传后进行解压 tar -zxvf /opt/software/datax.tar.gz -C /opt/modules/ # 运行自检脚本 python /opt/modules/datax/bin/datax.py /opt/modules/datax/job/job.json

当输出下图结果代表安装成功

​

3.DataX-web安装

3.1 下载DataX-web安装包

DataX-web官网下载地址：https://github.com/WeiYe-Jing/datax-web

网盘地址链接: https://pan.baidu.com/s/1UmFMHdVamfOOo4KEezBkeQ  提取码: 1234

3.2 安装DataX-web

3.2.1 上传后进行解压

# 下载上传后进行解压 tar -zxvf /opt/software/datax-web-2.1.2.tar.gz -C /opt/modules/

3.2.2 在Mysql中创建存放datax-web任务信息的库表

创建数据库dataxweb

# 创建 dataxweb 数据库 create database dataxweb;

在dataxweb中执行datax_web.sql脚本 

脚本位置为：/opt/modules/datax-web-2.1.2/bin/db/datax_web.sql

3.2.3 执行安装datax-web命令

# 执行安装命令 sh /opt/modules/datax-web-2.1.2/bin/install.sh

安装过程中需要下载一些插件，输入“Y”下载即可

安装过程中需要输入数据库配置，输入提前准备好的Mysql相关信息：ip port username password databaseName

3.2.4 DataX-web中配置datax路径

/opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml

# vi 编辑文本 application.yml vi /opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml # 最后一行添加DataX执行命令 pypath: /opt/modules/datax/bin/datax.py

3.2.5 启动 DataX-web

# 启动datax-web sh /opt/modules/datax-web-2.1.2/bin/start-all.sh

4.DataX-web登录使用

4.1 登录DataX-web

登录地址：http://{你的ip}:9527/index.html用户名：admin密码：123456

登录后报如下错误:Unknown column 't.user_id' in 'field list'。

这个错误表示DataX Web的数据库表结构不完整。具体问题是：job_info表中缺少 user_id字段。

我们可以手动添加缺失字段

-- 检查表结构 DESC job_info; -- 添加缺失的user_id字段 ALTER TABLE job_info ADD COLUMN user_id VARCHAR(50) DEFAULT NULL COMMENT '用户ID' AFTER update_time; -- 验证字段是否添加成功 DESC job_info;

4.2 使用DataX-web

新建项目

创建DataX任务模板，以后创建的任务使用相关的模板。

创建数据库链接

下面开始配置数据同步任务，可以批量配置，也可单独配置，本次以单独配置为例

点击 “构建” 生成任务json，选择 “选择模版” 选择对应的调度模板绑定任务。

查看并执行任务

点击执行一次后便可手动执行，如需定时执行可将状态部分改成启动。

查看任务执行状况

查看任务报错信息

报错原因：

        DataX配置了总bps限速（1048576字节/秒 = 1MB/秒），同时配置了3个channel，但没有配置单个channel的bps值

修复：增大 byte ，修改核心配置文件：/opt/modules/datax/conf/core.json

将byte值从默认的1048576调整为更高的正整数5m（如5242880），并确保record不为负数（如设为1000或删除record字段）。

# 修改 byte record 参数 "transport": { "channel": { "class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel", "speed": { "byte": 5242880,// 修改为正整数（如5MB）JSON不支持注释 "record": 1000 // 确保record值不为负数（可选）JSON不支持注释 }, "flowControlInterval": 20, "capacity": 512, "byteCapacity": 67108864 }, "exchanger": { "class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger", "bufferSize": 32 } },

修改完配置再次执行