跳到主要内容 DataX Web 分布式数据同步工具部署指南 | 极客日志
Java java
DataX Web 分布式数据同步工具部署指南 DataX Web 是基于 DataX 和 XXL-Job 开发的分布式数据同步管理后台,提供 Web 界面配置任务、定时调度及日志监控等功能。其架构优势、核心功能特性,包括支持多种数据源、集群部署、任务依赖及告警机制。内容涵盖从源码编译、环境配置到服务启动的完整部署流程,以及数据源创建、任务构建与管理的使用指南,帮助工程师高效管理异构数据同步任务。
CodeArtist 发布于 2026/4/5 更新于 2026/4/18 14 浏览DataX Web 简介
DataX Web 是在 DataX 基础上开发的分布式数据同步工具,方便用户在网页上通过点击和配置完成 DataX 任务的配置和执行。同时,DataX Web 是基于 XXL-Job 进行二次开发的 DataX 任务管理后台,天生支持任务定时调度、日志查看等功能,能帮助用户更好地管理 DataX 任务。
因此,在学习使用 DataX Web 之前,建议先了解 DataX 和 XXL-Job 的基本概念。
使用 DataX Web 的优势
DataX 是异构数据源进行数据同步的核心关键,DataX Web 为使用 DataX 提供了便利。虽然 DataX Web 的使用不是必须的,但作为追求高效率的工程师,好的工具必不可少。主要优势包括:
提供简单易用的操作界面,降低用户使用 DataX 的学习成本;
缩短任务配置时间,避免配置过程中出错;
可通过页面选择数据源即可创建数据同步任务,支持 RDBMS、Hive、HBase、ClickHouse、MongoDB 等数据源;
RDBMS 数据源可批量创建数据同步任务;
支持实时查看数据同步进度及日志并提供终止同步功能;
集成并二次开发 XXL-Job 可根据时间、自增主键增量同步数据;
任务执行器支持集群部署,支持多节点路由策略选择,支持超时控制、失败重试、失败告警、任务依赖;
支持对执行器 CPU、内存、负载的监控。
架构说明
整体架构和 XXL-Job 基本类似,调度中心进行任务的触发和调度,同时监控各个执行器的执行,汇总任务的执行过程和结果。
(图:DataX web 架构图)
核心功能特性
通过 Web 构建 DataX Json;
DataX Json 保存在数据库中,方便任务的迁移和管理;
Web 实时查看抽取日志,类似 Jenkins 的日志控制台输出功能;
DataX 运行记录展示,可页面操作停止 DataX 作业;
支持 DataX 定时任务,支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效;
调度采用中心式设计,支持集群部署;
任务分布式执行,任务执行器支持集群部署;
执行器会周期性自动注册任务,调度中心将会自动发现注册的任务并触发执行;
路由策略:执行器集群部署时提供丰富的路由策略,包括第一个、最后一个、轮询、随机、一致性 HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;
任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;
任务失败告警:默认提供邮件方式失败告警,同时预留扩展接口,可方便的扩展短信、钉钉等告警方式;
用户管理:支持在线管理系统用户,存在管理员、普通用户两种角色;
任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行,多个子任务用逗号分隔;
运行报表:支持实时查看运行数据,以及调度报表,如调度日期分布图,调度成功分布图等;
指定增量字段,配置定时任务自动获取每次的数据区间,任务失败重试,保证数据安全;
页面可配置 DataX 启动 JVM 参数;
数据源配置成功后添加手动测试功能;
可以对常用任务进行配置模板,在构建完 JSON 之后可选择关联模板创建任务;
JDBC 添加 Hive 数据源支持,可在构建 JSON 页面选择数据源生成 column 信息并简化配置;
优先通过环境变量获取 DataX 文件目录,集群部署时不用指定 JSON 及日志目录;
通过动态参数配置指定 Hive 分区,也可以配合增量实现增量数据动态插入分区;
任务类型由原来 DataX 任务扩展到 Shell 任务、Python 任务、PowerShell 任务;
添加 HBase 数据源支持,JSON 构建可通过 HBase 数据源获取 hbaseConfig,column;
添加 MongoDB 数据源支持,用户仅需要选择 collectionName 即可完成 json 构建;
添加执行器 CPU、内存、负载的监控页面;
添加 24 类插件 DataX JSON 配置样例;
公共字段(创建时间,创建人,修改时间,修改者)插入或更新时自动填充;
对 Swagger 接口进行 token 验证;
微信扫一扫,关注极客日志 微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
相关免费在线工具 Keycode 信息 查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具,Keycode 信息在线工具,online
Escape 与 Native 编解码 JavaScript 字符串转义/反转义;Java 风格 \uXXXX(Native2Ascii)编码与解码。 在线工具,Escape 与 Native 编解码在线工具,online
JavaScript / HTML 格式化 使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具,JavaScript / HTML 格式化在线工具,online
JavaScript 压缩与混淆 Terser 压缩、变量名混淆,或 javascript-obfuscator 高强度混淆(体积会增大)。 在线工具,JavaScript 压缩与混淆在线工具,online
Base64 字符串编码/解码 将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
Base64 文件转换器 将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
任务增加超时时间,对超时任务 kill datax 进程,可配合重试策略避免网络问题导致的 datax 卡死;
添加项目管理模块,可对任务分类管理;
对 RDBMS 数据源增加批量任务创建功能,选择数据源,表即可根据模板批量生成 DataX 同步任务;
JSON 构建增加 ClickHouse 数据源支持;
执行器 CPU、内存、负载的监控页面图形化;
RDBMS 数据源增量抽取增加主键自增方式并优化页面参数配置;
更换 MongoDB 数据源连接方式,重构 HBase 数据源 JSON 构建模块;
脚本类型任务增加停止功能;
RDBMS JSON 构建增加 postSql,并支持构建多个 preSql,postSql;
数据源信息加密算法修改及代码优化;
日志页面增加 DataX 执行结果统计数据。
安装部署
1. 下载与编译 直接从 GitHub Release 页面获取安装包。
直接从 Git 上面获得源代码,在项目的根目录下执行如下命令:
执行成功后将会在工程的 build 目录下生成安装包 build/datax-web-{VERSION}.tar.gz。
tar -zxvf datax-web-{VERSION}.tar.gz
以上命令是将解压后的文件复制到 opt/module 目录下,如不需要此操作,可直接解压到本目录。
2. 执行一键安装脚本 进入解压后的目录,找到 bin 目录下面的 install.sh 文件。
在交互模式下,对各个模块的 package 压缩包的解压以及 configure 配置脚本的调用,都会请求用户确认,可根据提示查看是否安装成功。如果没有安装成功,可以重复尝试。
如果不想使用交互模式,跳过确认过程,则执行以下命令安装:
3. 数据库初始化 按照提示输入数据库地址,端口号,用户名,密码以及数据库名称,大部分情况下即可快速完成初始化。如果服务上并没有安装 mysql 命令,则可以取用目录下/bin/db/datax-web.sql 脚本去手动执行,完成后修改相关配置文件。
vi ./modules/datax-admin/conf/bootstrap.properties
在项目目录下/modules/datax-execute/bin/env.properties 指定 PYTHON_PATH 的路径:
PYTHON_PATH= # 保持和 datax-admin 服务的端口一致;默认是 9527,如果没改 datax-admin 的端口,可以忽略
DATAX_ADMIN_PORT=9527
4. 启动服务 如果运行提示 JAVA_HOME 找不到就配置一下 etc/profile 中的 JAVA_HOME,JRE_HOME。
使用指南
1. 创建数据源 填写完信息,点击测试。注意:jdbc url 最好还是按照 spring boot 中 yml 中写法,要不有时候会失败。这里涉及到时区的问题。
创建一个 MongoDB 的数据源。注意:在创建数据源之前最好是把数据表或集合都创建好,如果是集合中的字段也最好创建完,要不再后续的任务构建中会找不到,如果找不到就重新编辑一下数据源,不是实时根据数据源变化的。
2. 新建项目管理
3. 新建 DataX 任务模板
4. 任务构建
5. 任务管理 选择任务,然后执行调度任务。例如:选择 ID = 7 的任务的操作。
将状态改为启动,执行一次,查看日志。如提示:执行器地址为空,则说明,执行器注册失败。
./stop-all.sh
./start.sh -m datax-admin
./start.sh -m datax-executor
如果遇到报错,可能需要修改文件 datax/conf/core.json。
{
"entry" : {
"jvm" : "-Xms1G -Xmx1G" ,
"environment" : { }
} ,
"common" : {
"column" : {
"datetimeFormat" : "yyyy-MM-dd HH:mm:ss" ,
"timeFormat" : "HH:mm:ss" ,
"dateFormat" : "yyyy-MM-dd" ,
"extraFormats" : [ "yyyyMMdd" ] ,
"timeZone" : "GMT+8" ,
"encoding" : "utf-8"
}
} ,
"core" : {
"dataXServer" : {
"address" : "http://localhost:7001/api" ,
"timeout" : 10000 ,
"reportDataxLog" : false ,
"reportPerfLog" : false
} ,
"transport" : {
"channel" : {
"class" : "com.alibaba.datax.core.transport.channel.memory.MemoryChannel" ,
"speed" : {
"byte" : 2000000 ,
"record" : -1
} ,
"flowControlInterval" : 20 ,
"capacity" : 512 ,
"byteCapacity" : 67108864
} ,
"exchanger" : {
"class" : "com.alibaba.datax.core.plugin.BufferedRecordExchanger" ,
"bufferSize" : 32
}
} ,
"container" : {
"job" : {
"reportInterval" : 10000
} ,
"taskGroup" : {
"channel" : 5
} ,
"trace" : {
"enable" : "false"
}
} ,
"statistics" : {
"collector" : {
"plugin" : {
"taskClass" : "com.alibaba.datax.core.statistics.plugin.task.StdoutPluginCollector" ,
"maxDirtyNumber" : 10
}
}
}
}
}
修改 core -> transport -> channel -> speed -> byte: 2000000,将单个 channel 的大小改为 2MB 即可。