介绍 DataX-web 的安装与使用流程。首先准备 MySQL、JDK 和 Python 环境。接着下载并解压 DataX 及 DataX-web 安装包，在 MySQL 中创建数据库并执行初始化脚本。通过安装脚本配置数据库连接，修改 application.yml 指定 DataX 路径后启动服务。默认登录账号为 admin/123456。常见问题包括数据库表结构缺失 user_id 字段需手动添加，以及数据同步时报错需调整 core.json 中的 byte 限速参数。
DataX 官网下载地址：https://github.com/alibaba/DataX
上传后进行解压并检测安装是否成功
# 下载上传后进行解压
tar -zxvf /opt/software/datax.tar.gz -C /opt/modules/
# 运行自检脚本
python /opt/modules/datax/bin/datax.py /opt/modules/datax/job/job.json
运行自检脚本后，若无报错则代表安装成功。
DataX-web 官网下载地址：https://github.com/WeiYe-Jing/datax-web
# 下载上传后进行解压
tar -zxvf /opt/software/datax-web-2.1.2.tar.gz -C /opt/modules/
创建数据库 dataxweb
create database dataxweb;
在 dataxweb 中执行 datax_web.sql 脚本
脚本位置为：/opt/modules/datax-web-2.1.2/bin/db/datax_web.sql
sh /opt/modules/datax-web-2.1.2/bin/install.sh
安装过程中需要下载一些插件，输入'Y'下载即可。
安装过程中需要输入数据库配置，输入提前准备好的 Mysql 相关信息：ip port username password databaseName
/opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml
vi /opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml
# 最后一行添加 DataX 执行命令
pypath: /opt/modules/datax/bin/datax.py
sh /opt/modules/datax-web-2.1.2/bin/start-all.sh
**登录地址：**http://{你的 ip}:9527/index.html **用户名：**admin **密码：**123456
登录后报如下错误：Unknown column 't.user_id' in 'field list'。
这个错误表示 DataX Web 的数据库表结构不完整。具体问题是：job_info 表中缺少 user_id 字段。
我们可以手动添加缺失字段
-- 检查表结构
DESC job_info;
-- 添加缺失的 user_id 字段
ALTER TABLE job_info ADD COLUMN user_id VARCHAR(50) DEFAULT NULL COMMENT '用户 ID' AFTER update_time;
-- 验证字段是否添加成功
DESC job_info;
新建项目
创建 DataX 任务模板，以后创建的任务使用相关的模板。
创建数据库链接
下面开始配置数据同步任务，可以批量配置，也可单独配置，本次以单独配置为例
点击 '构建' 生成任务 json，选择 '选择模版' 选择对应的调度模板绑定任务。
查看并执行任务
点击执行一次后便可手动执行，如需定时执行可将状态部分改成启动。
查看任务执行状况
查看任务报错信息
报错原因：
DataX 配置了总 bps 限速（1048576 字节/秒 = 1MB/秒），同时配置了 3 个 channel，但没有配置单个 channel 的 bps 值
修复：增大 byte，修改核心配置文件：/opt/modules/datax/conf/core.json
将 byte 值从默认的 1048576 调整为更高的正整数 5m（如 5242880），并确保 record 不为负数（如设为 1000 或删除 record 字段）。
{
"transport": {
"channel": {
"class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel",
"speed": {
"byte": 5242880,
"record": 1000
},
"flowControlInterval": 20,
"capacity": 512,
"byteCapacity": 67108864
},
"exchanger": {
"class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger",
"bufferSize": 32
}
}
}
修改完配置再次执行。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具，Keycode 信息在线工具，online
JavaScript 字符串转义/反转义；Java 风格 \uXXXX（Native2Ascii）编码与解码。 在线工具，Escape 与 Native 编解码在线工具，online
使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具，JavaScript / HTML 格式化在线工具，online
Terser 压缩、变量名混淆，或 javascript-obfuscator 高强度混淆（体积会增大）。 在线工具，JavaScript 压缩与混淆在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online