阿里开源的数据迁移工具 DataX 及其可视化管理平台 DataX-Web 的部署与使用。内容涵盖 DataX 的核心特性、Python 环境配置、JSON 脚本编写及基础测试；详细说明了 DataX-Web 的源码下载、数据库初始化、YAML 配置文件修改（包括 admin 与 executor）、项目启动流程及 Web 界面任务配置步骤。此外，还总结了常见的 BPS 限速、乱码、Winutils 缺失等报错问题的解决方案，适用于需要跨数据源同步数据的开发运维人员。
DataX 是阿里开源的基础数据迁移引擎（纯命令行工具，无界面），核心功能是跨数据源同步数据。
DataX-Web 是 DataX 的可视化调度与管理平台。
推荐从 GitHub 官方仓库下载：https://github.com/alibaba/DataX 下滑动到 Quick Start 章节获取安装包。
部分版本仅支持 Python 2.x。如果本地环境为 Python 3.0 以上，需替换 datax 文件夹中 bin 目录下的 .py 文件为支持 Python 3 的版本。
进入 bin 目录执行以下命令查看模板：
python datax.py -r streamreader -w streamwriter
Windows 用户解压后可直接运行样例，确认是否安装成功。
参考相关数据库 JSON 脚本格式。以下示例将同一库下的 users 表数据写入 users_0 表（命名为 job001.json）：
{
"job": {
"setting": {
"speed": {"channel": 2},
"errorLimit": {"record": 5, "percentage": 0.03}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "root",
"password": "your_password",
"column": ["id", "username", "email"],
"connection": [{"table": ["users"], "jdbcUrl": ["jdbc:mysql://localhost:3306/db?characterEncoding=utf8"]}]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"username": "root",
"password": "your_password",
"column": ["id", "username", "email"],
"connection": [{"table": ["users_0"], "jdbcUrl": "jdbc:mysql://localhost:3306/db?characterEncoding=utf8"}]
}
}
}
]
}
}
将 JSON 文件放入 datax/job 目录下，在 datax/bin 下执行：
python datax.py ../job/job001.json
git clone https://github.com/WeiYe-Jing/datax-web.git
同时确保已下载 DataX 引擎：https://github.com/alibaba/DataX/releases
执行 bin/db 下的 datax_web.sql 文件。先创建 datax_web 数据库，再导入脚本。
1. 修改 datax-admin 下 resources/application.yml
重点调整 data.path 目录、数据库地址、账号密码、服务端口等。
server:
port: 8080
spring:
datasource:
username: root
password: your_password
url: jdbc:mysql://localhost:3306/datax_web?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8
driver-class-name: com.mysql.jdbc.Driver
# ... 其他配置保持默认或按需调整
2. 修改 datax-executor 下 resources/application.yml
server:
port: 8081
datax:
job:
admin:
addresses: http://127.0.0.1:8080
executor:
appname: datax-executor
ip: # 默认为空表示自动获取 IP
port: 9999
logpath: ./data/applogs/executor/jobhandler
jsonpath: /tmp/executor/json/
pypath: /path/to/datax/bin/datax.py
admin.addresses: DataX Admin 部署地址。executor.appname: 执行器唯一标识。pypath: DataX 启动脚本地址。datax-admin 模块下的 DataXAdminApplication。datax-executor 模块下的 DataXExecutorApplication。
启动成功后日志会输出前端页面地址及接口文档地址。打开浏览器访问默认地址（默认管理员用户名：admin，密码：123456）： http://127.0.0.1:8080/index.html
1. 项目管理 - 添加项目 2. 配置数据源 注意：驱动和数据库版本需一致。若 MySQL 为 8.0 版本，建议将 DataX-Admin 及 DataX 插件中的 MySQL 驱动更新为对应版本（如 8.0.33）。 3. 创建执行器 在管理界面注册执行器信息。 4. 创建 DataX 任务模板 选择数据源并配置读写参数。 5. 构建任务生成同步 JSON 点击构建生成最终执行脚本。 6. 任务管理 查看任务状态，点击执行一次测试效果。
在有总 bps 限速条件下，单个 channel 的 bps 值不能为空，也不能为非正数。
原配置："setting":{"speed":{"byte":1048576,"channel":3}}
修正：删除 speed.byte 配置，仅保留 channel 数（由 DataX 自动适配）："setting":{"speed":{"channel":3}}
CMD 窗口下输入指令：chcp 65001
Windows 环境下可能提示 winutils 缺失，需下载并配置环境变量。
HADOOP_HOME 指向解压后的 hadoop 路径。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具，Keycode 信息在线工具，online
JavaScript 字符串转义/反转义；Java 风格 \uXXXX（Native2Ascii）编码与解码。 在线工具，Escape 与 Native 编解码在线工具，online
使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具，JavaScript / HTML 格式化在线工具，online
Terser 压缩、变量名混淆，或 javascript-obfuscator 高强度混淆（体积会增大）。 在线工具，JavaScript 压缩与混淆在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online